質問
100万レコード×10テーブルの大量データに対して、特定の項目に値が入っている場合にデータを抽出する処理をHULFT Squareで実現できますか？また、データ抽出元がデータベースの場合とCSVファイルの場合それぞれの設定方法と、キャパシティ（CPUやメモリ）の目安についても教えてください。
回答
特定の項目に値が含まれている場合にデータを抽出する処理は、HULFT Squareで対応可能です。データ抽出元の種別に応じて以下の方法をご使用ください。
■ データ抽出元がデータベースの場合
「検索系SQL実行処理」コンポーネントを使用することで実現可能です。「検索系SQL実行処理」はSQL文を用いてデータベースからデータを読み取る処理です。WHERE句などの検索条件を指定することで、特定の項目に値が入っているレコードのみを抽出できます。
設定方法については以下のマニュアルおよびFAQをご参照ください。
- 「テーブル読み取り処理」でWHERE句などの検索条件を指定したい
■ データ抽出元がCSVファイル等のファイルの場合
「CSVファイル読み取り処理」コンポーネントで対象ファイルからデータを取得した後、Mapping内で「条件による抽出」ロジックを使用することで実現可能です。「条件による抽出」ロジックに条件を設定することで、特定の項目に値が入力されているレコードのみを出力先へ引き渡すよう設定できます。
設定方法については以下のマニュアルおよびFAQをご参照ください。
- 条件による抽出
- キーを元に条件にあったデータだけを抽出するスクリプトの作成はできますか
■ ファイルを扱う場合の制約事項
データ抽出元がファイルの場合、扱うことができるファイルのサイズに制限があります。詳細については以下のマニュアルをご参照ください。
- 仕様制限
■ キャパシティ（CPUやメモリ）について
サポートよりIntegrateサービスの処理性能の目安を提供することはできません。最適な処理性能が得られるよう、お客様側でご検証いただく必要があります。大量データ処理とIntegrateサービスの性能については以下のマニュアルおよびFAQをご参照ください。
- HULFT Integrateサービスのステータスが黄色か赤の場合
- 処理対象のデータ件数を多くしたらスクリプトの実行が失敗するようになりました
- Integrateサービスのスペックが原因で発生するエラーについて
コメント
0件のコメント
記事コメントは受け付けていません。