HULFT Square スクリプト実行時のディスク容量消費タイミングと並列処理時の注意事項

質問

ファイル操作を行うコネクターのファイルサイズの制限について、スクリプト実行時、ディスクの消費と解放はどのタイミングで行われますか？また、並列処理時の容量制限について教えてください。

回答

■ 基本的な容量制限

スクリプト実行の[START]から[END]までのファイル容量の合計が仕様制限の容量を超えないようにする必要があります。

■ 容量消費の計算例

以下のようなスクリプトの場合：

[START]--[XMLファイル読み取り]--[マッピング]--[XMLファイル書き込み1]--[XMLファイル書き込み2]--[END]

各処理にて扱うファイルサイズの合計が目安となります。

- [XMLファイル読み取り]：2GB

- [XMLファイル書き込み1]：2GB

- [XMLファイル書き込み2]：2GB

の場合、スクリプトが終了するまで合計6GBのファイルサイズを消費する可能性があります。

■ 並列処理時の重要な注意事項【警告】

上記スクリプトを3並列で動作させると、理論上は最大18GB（6GB × 3）のファイルサイズを消費する可能性があります。

**これは1つのIntegrateサービスの制限である約12GBを超過するため、ストレージの容量不足が発生し、ファイルのデータが欠損する可能性があります。**

並列処理を使用する場合は、「並列数 × 各処理のファイルサイズ合計」が12GBを超えないように設計してください。

補足

CSV読み取り処理での大容量データ処理や並列処理の使用有無、ローカルストレージを使用する処理の数などによって、それぞれがどのようにストレージ容量に影響するかを事前に把握することが非常に困難です。実際にスクリプトを実行し、お試しください。