スクリプトで大きなデータを扱うときの注意点はありますか

質問

スクリプトで6GBなど大きなデータを扱うときの注意点はありますか。

回答

コネクターのタイムアウトエラーの他に、HULFT IntegrateサービスのCPUやメモリ、ローカルストレージ領域といったリソースが枯渇してしまい、スクリプトの実行に影響を与える場合があります。

そのため、目的の1/10の600MBなどデータ量を減らした状態から検証をはじめ、少しずつデータ量を増やしていき目的のデータ量が扱えるかお試しください。もし、目的のデータ量が扱えない場合には、データを分割して処理をするなど、スクリプト構成の変更を検討してください。

データ量の他に、検証を行う際には以下の2点についても注意してください。

• リソース状況について
  検証を行う際には、HULFT Integrateサービスの稼働状況やリソース使用状況を見ながら、使用しているHULFT Integrateサービスでの取り扱い可能なデータ量を検証してください。
  
  また、他のスクリプトが同時に同じHULFT Integrateサービスのリソースを使用し、リソース枯渇が発生した場合には、他のスクリプトの実行にも影響を与える場合がありますので、検証の際には実行時間が重ならないよう注意してください。
   
• ログ出力について
  大量のログ出力によりログがシステム内部で滞留してしまい、HULFT Squareのサービス全体に影響を及ぼす可能性があるので、ログレベルが低い(DEBUG、FINEST、FINFOなどの詳細なログが出力される)状態でのスクリプト実行はご遠慮ください。

関連FAQ

・「No space left on device」エラーが発生する

・ご利用にあたって禁止・制限いただきたい操作について