1. 主要ページへ移動
  2. メニューへ移動
  3. ページ下へ移動

コラム

記事公開日

データ整備を「AIエージェントに任せる」―クレンジング・名寄せの自動化と限界

【この記事の要約】

  • データクレンジング・名寄せのうち、形式の統一や候補の発見はAIに任せやすく、統合や修正の判断は業務の文脈が入るため任せ切れません。
  • ルールで候補を絞り、確信度で自動統合とAI判定に仕分け、判断が割れたものを人が確認する3段階で設計します。
  • 最初は、統合候補100組を同一・別・判断不能に仕分けて正解サンプルを作り、元に戻せる形で小さく始めます。

⏱ 読了目安:約8分

1. AIによるクレンジング・名寄せの自動化とは何か

結論:データクレンジングと名寄せの自動化とは、表記ゆれの統一・重複の統合といった整備作業の一部をAI(生成AIやAIエージェント)に任せることです。全件を任せるのではなく、任せる範囲と人が見る範囲を先に決めることが成否を分けます。

データクレンジングは、欠損・誤記・表記ゆれ・重複など、データの汚れを直す作業です。名寄せは、「株式会社ABC商事」と「(株)ABC商事」のように、表記が違っても同じ対象を指すレコードを同一のものとしてまとめる作業を指します。どちらも、担当者が表計算ソフトで目視しながら進めると、件数が多いと何週間もかかります。

そこでAIエージェントに任せたくなりますが、整備の対象は「正解がある作業」と「正解が自社の判断で決まる作業」が混在しています。本記事では、任せられる範囲と限界、設計の考え方、最小限の進め方を整理します。整備の準備度はAIエージェント導入前のデータ整備チェックリストで確認できます。

2. AIに任せやすい作業、任せにくい作業

結論:形式が決まっていて正解が一意な作業は任せやすく、意味の解釈や自社の判断が入る作業は任せにくくなります。まず作業を3つの型に分けて考えます。

作業の型具体例任せやすさ任せるときの注意
形式の統一全角・半角、日付の書式、郵便番号のハイフン、法人格の表記(株式会社と(株))高い。ルールを書けば、AIを使わなくても処理できるまずルールやスクリプトで足りるかを確認する。AIは例外の洗い出しに使う
候補の発見重複していそうなレコードの組を探す、異常値の候補を挙げる高い。見つけるだけなら誤っても被害は小さい見落としを減らす用途で使う。件数が多いときは候補の優先順位づけまでを任せる
統合・修正の判断2つのレコードを1つにまとめる、異常に見える値を書き換える低い。業務の文脈によって正解が変わる統合・修正の実行は、確信度が高い一部に限る。書き換えは元の値を残す

まず自問すべきは「この作業を間違えたとき、誰が何に困るか」です。形式の統一を間違えても検索しにくくなる程度ですが、別会社の2レコードを統合すると、請求先や与信の管理が壊れます。困り方が重い作業ほど、判断を機械に渡す範囲を狭くします。

AIによるデータクレンジングの実験的な研究でも、得意と不得意があることが示されています。Hadi Fadlallahは2026年8月公開の論文で、3つのデータセットに人工的に誤りを注入し、決定論的なプロファイリング(ルールに基づく機械的な検査)とLLMを使ったエージェントの構成を比較しています。その結果、誤りの検出ではルールに基づく検査が最も高い値を示し、検出・修復・根拠づけ・再現性・運用費用のすべてで最良だった構成はなかったと報告しています。人工的に誤りを注入した実験の結果ですが、AIを足せば一貫して良くなるとは限らないことが分かります。

3. 任せる範囲は3段階に分けて設計する

結論:全件をAIに判定させるのではなく、安価な方法で候補を絞り、判断が割れるところだけAIに回し、最後は人が見る3段階にすると、費用と誤りのバランスが取れます。

1.候補を絞る
ルール・軽量な照合
▶2.確信度で仕分ける
自動統合/AI判定
▶3.人が確認する
判断が割れたもの
図:クレンジング・名寄せを任せる3段階の設計

この3段階は、KnowledgeFlow(株式会社テクノデジタル運営)の名寄せの検証記事でも、ハイブリッド構成として紹介されています。同記事は、まずルールや軽量なモデルで候補ペアを抽出して見落としを減らし、確信度が高いものは自動で統合し、中程度のグレーゾーンだけをLLMで判定し、判断が割れるものは人が確認する、という流れを示しています。導入前には、許容できる誤統合の水準、データの更新頻度、判定の根拠を説明する必要があるかを確認するとよい、とも述べています。

実務では、次のように仕分けの基準を決めます。

  • 自動で統合してよいもの:拠点まで特定できる項目(法人番号に加え、住所・電話番号)がそろって一致し、表記だけが違う組。法人番号は同じ法人の支店にも共通のため、法人番号だけでは統合しません。
  • AIに判定させるもの:決め手が一部しか一致しない組。AIには「同一と判断した理由」も出力させます。理由は人が確認する手がかりであり、正しさの証明ではありません。
  • 人が見るもの:AIの判定が割れた組、取引金額が大きい先、親会社と子会社・支店のように「似ているが別」の可能性がある組。

4. 自動化の前に「何を誤りとするか」を決める

結論:自動化の精度を決めるのは、AIの性能より先に、自社が「同じ顧客」「正しい値」と何をもって呼ぶかの定義です。定義が決まっていなければ、AIは推測で埋めます。

例えば、支店ごとに取引が別管理されている会社を、1社にまとめるべきか、別のまま残すべきか。営業部門は「1社」で見たく、経理部門は請求先ごとに「別」で見たいため、部署によって正解が変わります。この判断は、データを見ても分からず、業務の責任者が決めることです。

McKinsey & Companyは2026年6月の記事で、目的は始める前にデータを完璧にすることではなく、事業上の必要性とリスクに応じて、ユースケースごとに「十分に良い」水準を定義することだと述べています。また、ツールだけではデータの品質管理の規律を代替できないことも指摘しています。自社の取引の実態という固有のデータに合わせて、統合のルールと許容水準を決める作業は、AIに代わってもらえません。この定義の整え方はAIエージェントのためのデータ定義整備で扱っています。

もう一つ重要なのが、「珍しい値」の扱いです。前述の論文は、珍しい値や極端な値は、珍しいというだけで修正してはならないという原則を置いています。珍しい値は、本当の誤りかもしれませんが、まれだが正しい値や、文書化されていない社内の慣習かもしれません。例えば、特定の取引先だけ単価が極端に低いのは、入力ミスではなく特別な契約によるものかもしれません。AIに「外れ値は直す」と任せると、こうした正しい値まで書き換えてしまいます。外れ値は直さずに候補としてフラグを付けるだけにし、直すかどうかは担当者が決めます。

5. 自動化を進める4ステップ

結論:サンプルで正解を作り、仕分けの基準を決め、小さく自動化し、結果を測って広げます。最初から全件を流さないことが最大の安全策です。

1. 正解のサンプルを作る:統合候補の組を100組ほど取り出し、業務を知る担当者が「同一」「別」「判断不能」に仕分けます。これが、後でAIの精度を測る物差しになります。100組は誤りの型を見つけるための目安で、まれな誤りの割合までは測れません。決め手が一部だけ一致する組を多めに含めて抜き出します。判断不能が多いなら、前章の定義が足りていません。

2. 仕分けの基準と許容水準を決める:どの条件なら自動統合してよいか、どこからAIに回すか、何を人が見るかを決めます。「誤って統合する方が、統合し損ねるより被害が大きい」場合が多いため、迷う組は統合しない側に倒します。

3. 小さな範囲で流す:特定の取引先区分や、特定の1システムの顧客データなど、範囲を絞って自動化を動かします。統合は元のレコードを残し、いつでも戻せる形(統合履歴を持つ、元の値を別の列に保存する)にします。

4. 結果を測って広げる:ステップ1の正解サンプルに対して、誤統合と統合し損ねがそれぞれ何組あったかを数えます。許容水準を超えたら、基準を直してから範囲を広げます。

6. 全部は任せられないときの代替ライン

結論:AIの導入やスクリプトの整備が難しくても、最低ラインは「元に戻せる」「迷ったら統合しない」「一部を人が見る」の3つです。

実務では、正解サンプルを100組も作る時間が取れない、仕分けの基準を決める責任者がいない、ということが多くあります。その場合は、次の水準から始めて構いません。

  • 元に戻せる:統合や修正の前に、対象のデータを丸ごと複製して残す。統合履歴の仕組みがなくても、統合した時点には戻せます(その後の更新は別途反映します)。
  • 迷ったら統合しない:決め手が複数一致するものだけを自動で扱い、残りは触らない。統合し損ねは後から直せますが、誤統合は気づくのが遅れます。
  • 一部を人が見る:AIが統合した組の中から、毎回20組でも担当者が見る。誤りが続く型が見つかれば、その型を自動統合の対象から外します。

7. よくある失敗パターンと想定される損失

全件を一度にAIに任せるパターン

例えば、大量の顧客データを一括で統合した後、営業担当が「訪問した先の担当者名が違う」と気づいて初めて、似た社名の別会社が統合されていたことが分かります。元のデータを残していなければ、どのレコードが誤統合なのかを特定できず、データ整備の担当者が手作業で洗い出すことになり、長い時間を取られます。

「外れ値は誤り」と決めつけて直してしまうパターン

特別単価や特殊な納期など、正しいが珍しい値を外れ値として修正してしまうと、見積や請求の根拠が失われます。後から顧客に指摘されて初めて気づき、過去の取引まで遡って確認することになります。外れ値は直さず、候補として残すのが安全です。

整備して終わりにするパターン

一度きれいにしても、新しい入力や他システムからの取り込みで、汚れは再び入り込みます。入口のルールがなければ、やがて元の状態に戻り、次の整備の依頼が来ます。整備は一度の作業ではなく、入力時の検査と定期的な点検を含む運用として設計します。

8. 活用イメージ:2つの顧客リストを統合する場合

例えば、営業部門の顧客リストと、経理部門の請求先リストを統合して、1つの顧客マスタを作る場面を考えます。社名の表記が違い、同じ会社が複数行に分かれているため、AIで名寄せを進めたいとします。

最初に、両部門の担当者が、統合候補100組を「同一」「別」「判断不能」に仕分けます。この過程で、「支店は別扱いにする」「親会社と子会社は統合しない」といった定義が決まります。次に、法人番号・住所・電話番号がそろって一致する組は自動統合、一部だけ一致する組(法人番号だけが同じ支店など)はAIに判定させ、判定の理由も出力させます。AIの判定が割れた組と、取引金額の大きい先は、担当者が確認します。統合前のデータは複製して残します。仕分けの正解サンプルとAIの結果を比べ、誤統合が許容水準を下回ってから、対象範囲を広げます。

9. まとめ:最初の一歩は「統合候補100組」を3つに仕分けること

データ整備をAIに任せる際は、全件の自動化を目指すのではなく、任せる範囲と人が見る範囲を分けることが重要です。作業の型ごとに任せやすさを見極め、ルール・AI・人の3段階で設計し、何を誤りとするかの定義を先に決めてください。まずは、自社の顧客や取引先のデータから統合候補を100組ほど取り出し、業務の担当者と「同一」「別」「判断不能」に仕分けてみてください。その結果が、自動化の範囲と、決めるべき定義の一覧になります。全体像はAIエージェントが動かない本当の理由も参考になります。

【本記事のまとめ】

  • クレンジング・名寄せは、形式の統一と候補の発見はAIに任せやすく、統合や修正の判断は業務の文脈が入るため任せにくい
  • ルールで候補を絞り、確信度で自動統合とAI判定に仕分け、判断が割れたものを人が確認する3段階で設計する。外れ値は直さずフラグを付けるだけにする
  • 最低ラインは「元に戻せる」「迷ったら統合しない」「一部を人が見る」。最初の一歩は、統合候補100組を同一・別・判断不能に仕分けること

データ整備の自動化や、AIエージェントに任せる範囲の設計でお悩みの方は、株式会社コネクトデータのデータ活用コンサルティングで、現状整理から進め方までご相談いただけます。

お問い合わせはこちら/資料ダウンロードはこちら

10. よくある質問

Q. 名寄せは、AIを使わずルールだけで十分ではありませんか?
A. 表記の違いが決まった型に収まるなら、ルールだけで足ります。ルールは誤統合のリスクが低い一方、「略称と正式名称」のように型に収まらない組を見落としやすい面があります。まずルールで処理し、残ったグレーゾーンにだけAIを使う構成が、費用と誤りのバランスを取りやすい進め方です。
Q. AIが統合した結果は、どのくらい人が確認すべきですか?
A. 決まった割合はありません。最初は多めに見て、誤りが続く型を見つけ、その型を自動統合の対象から外します。誤りが減ってきたら確認する件数を減らします。取引金額の大きい先や、親会社・子会社など似ているが別の可能性がある組は、件数を減らさずに見続けます。
Q. 正解データがないとき、AIの精度はどう測ればよいですか?
A. 統合候補を100組ほど取り出し、業務の担当者が「同一」「別」「判断不能」に仕分けたものを、正解のサンプルとして使います。完全な正解表を作る必要はありません。サンプルに対して誤統合と統合し損ねが何組あったかを数え、許容水準と比べます。判断不能が多い場合は、AIの前に、統合の定義を決め直します。

データ活用に関してまずはご相談ください

データ活用に関するご相談、データコネクトの概要資料ダウンロードに関しては、以下のボタンより承ります。