質問
[ファイル/フォルダ読み取り]処理を用いてS3 BucketからCSVファイルを取得し、HULFT Squareのストレージにて確認したところ、取得の前後でファイルの容量が一致しませんでした。
容量が小さいファイルでは問題なく取得ができますが、容量の大きいファイルだと元データより小さいデータとしてストレージに保存されています。
S3コネクターが扱えるファイルサイズに制限があるのでしょうか。
回答
ご質問内容は下記仕様に該当すると考えられます。
S3コネクターを含むファイル操作を行うコネクターのファイル読み取りオペレーションにて、大容量ファイルを読み込む際にHULFT Integrateサービスのディスク容量不足が発生する場合があります。
容量不足が発生した場合でもスクリプト実行はエラーとならず、ファイルのデータが欠損した状態で処理が継続します。
単一のHULFT Integrateサービスで同時に複数のファイル操作を実行するなど、扱えるファイルサイズの上限を超えるような処理を実行すると容量不足が発生します。
マニュアルサイトの以下ページに掲載しておりますとおり、S3コネクターで同時に扱えるファイルサイズの目安は約50GBとなります。
S3コネクターを除くコネクターについては以下ページをご参照ください。
補足
ディスクの容量不足が発生した際、デザイナーやスクリプトの実行ログ等にはその旨が表示されません。
ただしクラウド系の下記コネクターについては、コンポーネントの出力スキーマ [file] - [status] の値を監視することで容量不足エラーが発生しているか確認することが可能です(ディスク容量不足時には”Error”が格納されます)。
この出力スキーマ[file] - [status]の値を利用し、[条件分岐]処理などを組み合わせることでエラーハンドリングが可能です。
出力スキーマの値については、下記の各ページもご参照ください。
◇Amazon S3 - ファイル/フォルダ読み取り処理
https://www.hulft.com/help/ja-jp/HULFTSquare/Content/Designer/Connector/amazons3_get.htm
◇Azure BLOBストレージ - ファイル/ディレクトリー読み取り処理
https://www.hulft.com/help/ja-jp/HULFTSquare/Content/Designer/Connector/azure_storage_blob_get.htm
◇Google Cloud Storage - ファイル/フォルダ読み取り処理
https://www.hulft.com/help/ja-jp/HULFTSquare/Content/Designer/Connector/google_cloud_storage_get.htm
◇Google ドライブ - ファイル/フォルダ読み取り処理
https://www.hulft.com/help/ja-jp/HULFTSquare/Content/Designer/Connector/google_drive_get.htm
関連FAQ
AWS S3への接続時におけるアクセス許可の推奨設定はありますか
コメント
0件のコメント
記事コメントは受け付けていません。