質問
ファイル操作を行うコネクターで「No space left on device」エラーが発生する原因を教えてください。
以下マニュアルにおける[ファイル操作を行うコネクター]の項目に記載の仕様制限の影響かと思い確認しましたが、
扱っているファイルのデータサイズは仕様制限に掲載のデータサイズ以下でした。
・仕様制限
回答
「No space left on device」エラーですが、Integrateサービスにおけるローカルストレージ領域が枯渇した際に発生するエラーとなります。
ファイル操作を行うコネクターでファイルデータを利用する場合、Integrateサービスにおけるローカルストレージ領域にデータを取り込みますが、
一度にローカルストレージ領域に展開されるデータ容量が仕様制限に掲載のデータサイズを超えると、「No space left on device」エラーが発生する場合があります。
なお、[ファイル操作を行うコネクター]の仕様制限も上記ローカルストレージ領域の枯渇による影響となります。
つきましては、以下の回避策をお試しください。
1.大容量のファイル操作を行うコネクター処理を伴うスクリプトやジョブが同時に実行されている場合、実行タイミングを分ける
2.単体のスクリプトにおいて大容量のファイル操作を行うコネクター処理を複数回行っている場合、ファイルごとにスクリプトを分けて実行する
補足
Integrateサービスにおけるローカルストレージ領域ですが、ファイル操作を行うコネクターでファイルデータを展開する場合の他に、
データフローにおいて大容量データ処理やパラレルストリーミング(以下PSP)処理が有効化されている場合においても使用されます。
また、大容量データ処理やPSP処理を有効化している場合、以下のような状況が発生して実際のファイルサイズに対して2倍ほどのローカルストレージ領域が使用される場合があります。
①ファイル読み取りコネクターでファイルデータをローカルストレージに保管
②PSP処理/大容量データ処理でマッピングしてデータを加工
③マッピングで加工したデータを①のファイルデータとは別にローカルストレージに保管
④ローカルストレージに展開した加工後データからPSP処理/大容量データ処理で外部サービスへ書き込み
そのため、上記状況に該当するコンポーネントで「No space left on device」エラーが発生する場合、
大容量データ処理やPSP処理を無効化していただく事でエラーが解消される可能性があります。
コメント
0件のコメント
記事コメントは受け付けていません。