大量CSVデータ読み取り時のCPU負荷を軽減する設定について

質問

200万件以上のCSVデータを読み取る処理でCPUが100%まで上昇します。リソース追加以外でCPU負荷を軽減する設定はありますか？

回答

以下の設定を組み合わせることでCPU負荷が軽減されます。

- [CSVファイル読み取り処理] - [大容量データ処理を行わない]

- [デザイナー] > [ツール] > [オプション設定] > [編集] - [スマートコンパイラ]：使用する

スマートコンパイラは、パラレルストリーミング処理を自動で有効にする機能であり、これによりパフォーマンスの向上が見込まれます。

補足

・パラレルストリーミング処理を有効にした場合、CSV読み込み処理のコンポーネント変数「count」に値が格納されなくなるため、処理件数を確認できなくなります。

・データの処理件数が多いことがCPU使用率上昇の主な要因です。一度の処理件数を減らすなどの対応も有効です。

パラレルストリーミング処理