【サンプルスクリプト】任意の項目が重複するレコードを削除したい

サンプルスクリプトについて

HULFT Squareをご利用いただきありがとうございます。

本記事では、「重複レコードを削除するサンプルスクリプト」の詳細およびカスタマイズ方法についてご案内します。

※「サンプルスクリプト」は。HULFT Squareの画面から「App Square」より、アプリケーション「SupportSample」をインストールいただくことでご利用いただけます。

スクリプトについて

　スクリプト名：SupportSample_RemoveDuplicateRecords

　スクリプト概要：重複レコード削除のサンプルスクリプト

　スクリプト構成

スクリプト詳細

CSVファイルから読み込んだデータのうち、キー項目のデータが重複するレコードについては最初のレコードのみ出力します。

このため出力ファイルは、「入力ファイルにあるキーの種類数」分のレコード数となります。

例）

●入力データ例　※赤字のレコード以外は削除されて出力されます。
Key,FieldName1,FieldName2,FieldName3
AAA,あいうえお,たちつてと,HHH
BBB,かきくけこ,あいうえお,GGG
AAA,やゆよ,らりるれろ,KKK
CCC,さしすせそ,なにぬねの,III
BBB,はひふへほ,FieldName,Key
DDD,たちつてと,あいうえお,AAA
CCC,あいうえお,かきくけこ,BBB
AAA,まみむめ,亜意宇絵尾,ZZZ

●出力データ例
Key,FieldName1,FieldName2,FieldName3
AAA,あいうえお,たちつてと,HHH
BBB,かきくけこ,あいうえお,GGG
CCC,さしすせそ,なにぬねの,III
DDD,たちつてと,あいうえお,AAA

カスタマイズについて

このスクリプトは入出力データが「テーブルモデル型」で定義されるデータであれば流用可能です。
入力データのキー項目を決めて、その他の項目を「集計対象設定」で指定してください。

この処理のポイントは「集計処理」です。
「集計処理」で、①「キー」とする項目を「グループキー設定」で指定し、②「集計対象設定」でその他の項目について「最初の値」を指定することで、キーが重複するレコードは最初のレコードのみ出力対象にできます。

①

②

マッピングでは、「集計処理」（今回は「remove_duplicatedata」）のスキーマから出力ファイルのスキーマにマッピングします。
※「集計処理」のスキーマには、「COUNT」という項目が追加されていますが、今回の処理では使用しないためマッピング不要です。