マージMapperで大量データをJOINする場合の処理負荷と代替方法 – HULFT Square

質問

マージMapperで大量データをJOINする場合、データ件数に応じたメモリ使用量や処理負荷の目安、推奨されるデータ件数の目安はありますか？また、大量データを扱う場合に推奨される実装・運用方法はありますか？

回答

Integrateサービスのスペックや負荷状況、データの内容によって結果が変動するため、推奨設定や目安の提示はできません。実際の処理負荷については、お客様環境にて検証の上でご判断ください。

大量データを扱う場合のメモリ負荷軽減策として、HULFT Squareでは以下の機能を提供しています。

・パラレルストリーミング処理：データをスレッド展開して処理するため、結合処理においてより適切な方法です。

・大容量データ処理：大容量のデータを取り扱う場合にメモリ負荷を軽減するための機能です。

また、データの結合に関する機能として[結合処理]コンポーネントも提供しています。[結合処理]コンポーネントとマージMapperは優劣があるものではなく、実現できる結合方法や設定方法が異なります。お客様の要件や運用に応じて適した機能を選択してください。

補足

・パラレルストリーミング処理の詳細については、以下のマニュアルをご参照ください。

2.3.2 大容量データの対応 2.3.2.1 パラレルストリーミング処理

・マージMapperの詳細については、以下のマニュアルをご参照ください。

2.7.1.2 マージMapper（基本） 2.7.1.2.1 マージMapper（詳細）

・[結合処理]コンポーネントの詳細については、以下のマニュアルをご参照ください。

2.6.1.2 変換 2.6.1.2.1 基本 2.6.1.2.1.2 結合処理

・Snowflakeのような単体DBサービス上の複数データを結合する場合、HULFT Square上の結合処理のパフォーマンスとSnowflake側のパフォーマンスをお客様自身で比較し、適切な方法を判断してください。なお、複数のサービスのデータを結合して連携する処理についてはHULFT Square上で行うことを推奨しています。