ファイル/フォルダ読み取り処理をするとファイルサイズが小さくなる

質問

[ファイル/フォルダ読み取り]処理を用いてS3 BucketからCSVファイルを取得し、HULFT Squareのストレージにて確認したところ、取得の前後でファイルの容量が一致しませんでした。
容量が小さいファイルでは問題なく取得ができますが、容量の大きいファイルだと元データより小さいデータとしてストレージに保存されています。
S3コネクターが扱えるファイルサイズに制限があるのでしょうか。

回答

ご質問内容は下記仕様に該当すると考えられます。

S3コネクターを含むファイル操作を行うコネクターのファイル読み取りオペレーションにて、大容量ファイルを読み込む際にHULFT Integrateサービスのディスク容量不足が発生する場合があります。
容量不足が発生した場合でもスクリプト実行はエラーとならず、ファイルのデータが欠損した状態で処理が継続します。
単一のHULFT Integrateサービスで同時に複数のファイル操作を実行するなど、扱えるファイルサイズの上限を超えるような処理を実行すると容量不足が発生します。

2024年12月現在、同時に扱えるファイルサイズの目安は約12GBとなります。
ただしクラウド系のコネクターについては、S3コネクターを除きテンポラリファイルを作成する動作の関係でファイルサイズの目安はこの1/2である6GB前後となります。
S3コネクターの同時に扱えるファイルサイズの目安は約12GBとなります。

対象となるファイル操作に関連するコネクターは以下の通りです。

基本
・アサーション
　・ファイル比較

ファイル
・CSV
・Excel
・Excel(POI)
・XML
・固定長
・可変長
・ファイル操作
・ファイルシステム

ネットワーク
・REST
・FTP

クラウド※
・Amazon S3 ※
・Azure BLOBストレージ ※
・Google BigQuery ※
・Google Cloud Storage ※
・Google ドライブ ※
・Google スプレッドシート ※
・Box ※
・SharePoint ※

暗号化
・PGP

※クラウド系のコネクターについては、ディスクの消費量が取り扱うファイルサイズの２倍の容量となる場合があります。

補足

ディスクの容量不足が発生した際、デザイナーやスクリプトの実行ログ等にはその旨が表示されません。
ただしクラウド系の下記コネクターについては、コンポーネントの出力スキーマ [file] - [status] の値を監視することで容量不足エラーが発生しているか確認することが可能です（ディスク容量不足時には”Error”が格納されます）。
この出力スキーマ[file] - [status]の値を利用し、[条件分岐]処理などを組み合わせることでエラーハンドリングが可能です。

出力スキーマの値については、下記の各ページもご参照ください。

◇Amazon S3 - ファイル/フォルダ読み取り処理
https://www.hulft.com/help/ja-jp/HULFTSquare/Content/Designer/Connector/amazons3_get.htm

◇Azure BLOBストレージ - ファイル/ディレクトリー読み取り処理
https://www.hulft.com/help/ja-jp/HULFTSquare/Content/Designer/Connector/azure_storage_blob_get.htm

◇Google Cloud Storage - ファイル/フォルダ読み取り処理
https://www.hulft.com/help/ja-jp/HULFTSquare/Content/Designer/Connector/google_cloud_storage_get.htm

◇Google ドライブ - ファイル/フォルダ読み取り処理
https://www.hulft.com/help/ja-jp/HULFTSquare/Content/Designer/Connector/google_drive_get.htm

関連FAQ

AWS S3への接続時におけるアクセス許可の推奨設定はありますか