HULFT Squareで扱えるファイルサイズとIntegrateサービス内部ストレージの使用について – HULFT Square

質問

HULFT Squareで扱えるファイルサイズの制限と、各コネクターにおけるIntegrateサービスの内部ストレージの使用状況について教えてください。

■ファイルサイズの制限

同時に扱えるファイルサイズの目安は以下の通りです。

・通常のコネクター:約12GB

・クラウド系コネクター(S3を除く):約6GB

・S3コネクター:約12GB

※ファイルサイズの制限はIntegrateサービス単位です。同一Integrateサービスで同時に12GBのファイルを処理すると仕様制限に抵触します。

■ストレージからファイル読み取りの共通実装

1. HULFT Squareのパス(/workspace/directory/file)から内部のS3のパスに変換

2. S3からファイルのストリームを取得

3. 各オペレーションではストリームとして扱う

※ローカルストレージに保存するかはオペレーションの扱い次第

■ストレージへのファイル書き込みの共通実装

1. ローカルストレージに一時ファイルを作成する

2. オペレーションからの書き込みデータを一時ファイルに書き込む

3. 書き込み終了時に一時ファイルをS3ストレージにアップロードする

4. 一時ファイルを削除する

※オペレーションの扱いとは別で、必ずローカルストレージに一時ファイルを保存する

ファイル書き込み処理はローカルストレージのディスク使用量制限に影響します。

■PSP処理時の内部ディスク使用

PSPデータフローを有効にしている場合、PSP処理単位でファイルが分割されます。その分割単位でファイルが読み込まれるため、その分の内部ディスクが使用されます。

■大容量データ処理時の内部ディスク使用

大容量データ処理を利用する場合、読み込み元データをIntegrateサービスのストレージに保持し続ける関係上、書き込み用のデータと読み込み元のデータが同時に存在する瞬間があります。そのため、制限容量が実質半分程度となります。

■ディスク容量不足時の動作

【ファイル読み取り処理】

ファイル読み取りオペレーションにて、大容量ファイルを読み込む際にディスクの容量不足が発生する場合があります。該当した場合でもスクリプト実行はエラーとならず、ファイルのデータが欠損した状態で処理が進みます。

【ファイル書き込み処理】

ファイル書き込み処理などコンポーネントがIntegrateサービスのローカルストレージへ一時的にファイルを作成する場合、容量不足が発生すると「IO0001E No Space left on device」エラーが発生します。

■S3コネクターの特殊な動作

Amazon S3コネクターの「ファイル/フォルダ書き込み」処理は、HULFT Squareのストレージ上のファイルをS3へアップロードするため、Integrateサービスの内部ストレージは使用しません。

一方、Amazon S3コネクターの「ファイル/フォルダ読み取り」処理は、お客様のS3からファイルをダウンロードし、HULFT SquareのS3ストレージ上にアップロードする処理のため、「ファイル書き込み系処理」に該当します。

■クラウド系コネクターの内部ディスク消費量

Amazon S3コネクタおよび他のクラウド系コネクタは、内部ディスクの消費量が「ファイルサイズ × 2」となります。

■S3コネクターのファイルサイズ制限

【ファイル/フォルダ書き込み処理】

AWS S3の仕様により、マルチパートアップロードを使用することで5GBを超えるファイルもアップロード可能です(最大5TB)。

【データ書き込み処理】

入力スキーマはテーブルモデル型であり、内部的にbyte[]またはBASE64表現のString型でデータを保持しています。

・byte[]の場合:Javaの仕様により配列の上限はintすなわち2GBが上限

・BASE64表現の場合:約3/4が実データとなるため、1.5GBが上限

■参考情報

詳細については、以下のマニュアルもご参照ください。