この用語の意味
データクレンジング（Data Cleansing／Data Cleaning）は、データの誤り、重複、欠けている項目、表記ゆれなどを確認し、使う目的に合わせてデータを整える作業です。顧客名簿の重複整理や、売上集計前の日付・金額の形式統一などが身近な例です。
単に行を削除したり、見た目をそろえたりすることではありません。何を誤りとするか、どの情報を残すかを決め、変更後も業務上の意味が保たれているかを確認します。
何ができるか
- 顧客名簿の整理：同じ顧客と思われる行を候補として抽出し、顧客IDなどを照合して統合の要否を判断します。同じ名前だけで同一人物とは決めません。
- 売上集計の準備：日付、金額、商品コードなどの形式を決め、集計できない値や空欄を洗い出します。
- データ移行の準備：CSVで受け取った情報を、移行先の項目名や入力条件に合わせて整えます。
確認や集計のやり直しを減らすことが狙いです。ただし、元データだけでは正誤が分からない項目もあります。不明な値を推測で埋めず、担当者への確認が必要なものとして分けます。
実際に使うために必要なもの
- 変更せずに保管する元データと、作業用のコピー。
- 日付形式、文字・数値の区別、重複判定の項目、空欄の扱いを定めた整理ルール。
- スプレッドシートなどの作業環境。件数や更新頻度によってはデータベースや処理用プログラムを使います。
- データの意味を判断できる担当者、変更記録、復元手順。
費用はアプリの契約料だけでなく、初回のルール作成、例外の確認、定期実行や保守の作業時間も含めて考えます。既存の表計算環境で始められる場合もありますが、大量処理や専用ツールの利用には別の費用がかかることがあります。
開発・規格と使用条件
特定企業の製品名ではなく、データ管理で使われる一般的な作業名です。単一の開発元や共通の操作手順はありません。利用するアプリの契約条件、編集権限、取込先の項目形式を確認し、業務ごとの整理ルールを決めます。
小さく試す運用例
以下は、架空の売上明細を使う練習例です。実際に導入して効果を測定した事例ではありません。
- 架空の明細を30行ほど用意し、変更前ファイルを別に保存します。行を追えるように明細IDを付けます。
- 日付の表し方、金額の扱い、商品コードの桁数を決めます。例えば、商品コードの先頭の「0」は残す、とルールに書きます。
- 形式の違い、空欄、重複の候補を別列に印付けします。行全体を並べ替え、列だけを動かして対応関係を崩さないようにします。
- 明らかな形式の違いだけを修正し、判断が必要な行は保留します。明細ID、変更前後の値、理由を記録します。
- 変更前後の行数と集計額を比較します。形式統一だけなら意図しない増減がないことを、重複を除いたならその差を説明できることを確認します。
作業時間、保留件数、後から見つかった修正漏れを記録します。元に戻せることまで確かめてから、対象を少しずつ広げます。
人が確認すること・注意点
- 同姓同名の顧客や、同額・同日の別取引を、重複として消さないようにします。統合や削除は元の記録と照合して判断します。
- 空欄を一律に「0」に置き換えないでください。「未入力」と「金額がゼロ」は意味が異なります。突出した値も、返品や特別な取引などの正しい記録かもしれません。
- 電話番号や商品コードを数値として扱うと、先頭の「0」が失われる場合があります。CSVの読込み時は文字コード、区切り、日付や文字列の扱いを確認します。
- AIは整理ルールの案や確認候補の抽出に使えますが、曖昧な情報の確定は人が行います。顧客名簿などを外部サービスへ渡す前に、社内の利用・送信ルールを確認します。
関連する事例・テンプレート
名簿整理や集計前の点検を始める際は、次の関連用語も確認してください。