Amazon S3コネクターの「ファイル/フォルダー読み取り処理」で大容量ファイルをダウンロードした際の出力結果について

質問

Amazon S3コネクターの「ファイル/フォルダー読み取り処理」で24GBの大容量ファイルをダウンロードした際、スクリプトは成功しましたが出力スキーマのStatusが「Error」となりました。この動作について教えてください。

回答

Amazon S3コネクターの「ファイル/フォルダー読み取り処理」は、お客様のS3からファイルをダウンロードし、HULFT SquareのS3ストレージ上にアップロードする処理のため、「ファイル書き込み系処理」に該当します。

本オペレーションの仕様として、ダウンロード処理でエラーが発生してもオペレーション自体はエラーとならず、出力スキーマに結果が出力されます。

各ファイルの処理中にIntegrateサービスのローカルストレージ容量が不足した場合、オペレーションは成功し、出力結果のStatusに「Error」が設定されると考えられます。

■重要な仕様制限について

ファイル操作を行うコネクターの「ファイル読み取りオペレーション」全般において、大容量ファイルを読み込む際にディスク容量不足が発生する場合があります。該当した場合でもスクリプト実行はエラーとならず、ファイルのデータが欠損した状態で処理が進みます。

ファイル読み取り処理の際にIntegrateサービスのローカルストレージが枯渇した場合、コンポーネント内では例外が発生せずファイルが欠落した状態で読み込み完了となり、その後の処理が継続する仕様となっております。

一方、「ファイル書き込み処理」などコンポーネントがIntegrateサービスのローカルストレージへ一時的にファイルを作成する場合、容量不足が発生すると「IO0001E No Space left on device」のエラーが発生いたします。

■参考情報

2024年12月現在、同時に扱えるファイルサイズの目安は以下の通りです：

・S3コネクター：約12GB

・クラウド系コネクター（S3を除く）：約6GB

単一のHULFT Integrateサービスで同時に複数のファイル操作を実行するなど、扱えるファイルサイズの上限を超えるようなスクリプトを実行すると、ディスク容量不足の問題が発生する可能性があります。