HULFT Squareで同時に扱えるファイルサイズの制限について – HULFT Square

質問

HULFT Squareで同時に扱えるファイルサイズの制限について教えてください。

2024年12月現在、同時に扱えるファイルサイズの目安は以下のとおりです。

■基本的な制限値

・S3コネクター：約12GB

・CSVコネクター：約12GB

・クラウド系コネクター（S3コネクター除く）：約6GB

■PSPデータフロー有効時または大容量データ処理利用時の制限

PSPデータフローを有効にしている場合、もしくは大容量データ処理を利用している場合は、読み込み元データをIntegrateサービスのストレージに保持し続ける関係上、書き込み用のデータと読み込み元のデータが同時に存在する瞬間があります。そのため、制限容量が実質半分程度となります。

■適用される処理

上記制限は以下の処理に適用されます。

- S3コネクター：ファイル読み取り処理、ファイル書き込み処理

- CSVコネクター：CSVファイル読み取り処理、CSVファイル書き込み処理

■ファイルサイズ制限の単位

ファイルサイズの制限はIntegrateサービス単位のものとなります。同一のIntegrateサービスにて複数のファイル操作を同時に実行する場合、扱えるファイルサイズの上限を超えるとディスク容量不足が発生する可能性があります。

例：12GBのファイルをCSVコネクターで処理するスクリプトを同一のIntegrateサービスにて同時に実行した場合、仕様制限に抵触します。

■ディスク容量不足時の動作

【ファイル読み取り処理の場合】

ファイル操作を行うコネクターのファイル読み取りオペレーションにて、大容量ファイルを読み込む際にディスクの容量不足が発生した場合、コンポーネント内では例外が発生せず、スクリプト実行はエラーとならずにファイルのデータが欠損した状態で処理が進みます。

【ファイル書き込み処理の場合】

ファイル書き込み処理などコンポーネントがIntegrateサービスのローカルストレージへ一時的にファイルを作成する場合、容量不足が発生すると「IO0001E No Space left on device」エラーが発生します。

■S3コネクターの個別制限

【ファイル/フォルダ書き込み処理】

指定したファイルのサイズが5GBを超える場合、「ErrorUnsupportedFileSize」ステータスとなり書き込みができません。ただし、内部的にマルチパートアップロード処理に切り替わるため、実際には5GB以上のファイルもアップロード可能です。

【データ書き込み処理】

入力スキーマはテーブルモデル型であり、内部的にbyte[]またはBASE64表現のString型でデータを保持しています。

・byte[]の場合：Javaの仕様により配列の上限はintすなわち2GBが上限

・BASE64表現の場合：約3/4が実データとなるため1.5GBが上限

■内部ディスクの使用状況

【ファイル読み取り系コネクター】

・基本：内部ディスクを使用しない

・大容量データ処理設定時：Integrateサービスの内部ストレージを使用

・PSP有効時：PSP処理単位でファイルが分割され、その分割単位でファイルが読み込まれるため、一部内部ディスクを使用

【ファイル書き込み系コネクター】

対向先サービスへ書き込むためのファイルをIntegrateサービスの内部ストレージ上に作成した上で、そのファイルを対向先サービスへアップロードするため、内部ディスクを使用します。

【Amazon S3コネクター】

・ファイル読み取り系：上記ファイル読み取り系コネクターと同様

・ファイル書き込み系：HULFT Squareのストレージ上のファイルをS3へアップロードするため、Integrateサービスの内部ストレージは使用しない

【クラウド系コネクター（S3含む）】

Amazon S3コネクターおよび他のクラウド系コネクターの双方とも、内部ディスクの消費量は「ファイルサイズ×2」となります。