質問
CSVファイルに含まれる大量のレコードを、件数単位で分割して読み込むことはできますか?
回答
CSVファイルのレコードを件数単位で分割して読み込むことは、[繰り返し(データ件数)]処理と[条件分岐]処理を組み合わせることで可能と考えられます。
[繰り返し(データ件数)]処理の中でコンポーネント変数「count」(繰り返した回数)を取得し、[条件分岐]処理の条件として以下のように設定します。
例:10万件のレコードを25,000件ずつ4分割する場合
- ① 変数 count が 25000 以下
- ② 変数 count が 25000 より大きいかつ 50000 以下
- ③ 変数 count が 50000 より大きいかつ 75000 以下
- ④ 変数 count が 75000 より大きいかつ 100000 以下
補足
- [繰り返し(データ件数)]処理の中で[CSVファイル書き込み]処理を行う場合、繰り返し単位でファイルの開閉が発生しパフォーマンスが低下します。[繰り返し(データ件数)]処理全体を[トランザクション]で囲むことでパフォーマンス低下を防ぐことができます。
- 大量データを処理する際は、ログレベルを「INFO」以下に設定し、「DEBUG」でのログ出力はお控えください。
コメント
0件のコメント
記事コメントは受け付けていません。