データ品質を高めるおすすめオフライン型データクレンジングツール8選

これまでのビッグデータ関連の記事では、ビッグデータの機能レイヤーについて解説し、前回はクラウド型データストレージツールのトップ11を紹介しました。そしてストレージの次のステップとして重要になるのが、データクレンジング(データ洗浄)プロセスです。

データクレンジングとは?

ビッグデータという言葉からもわかるように、ビジネスデータであれ個人データであれ、データは驚異的なスピードで増加し続けています。実際、世界では毎日25クインティリオン(約2.5×10の18乗)バイトものデータが生成されていると言われています。この中には重複したレコードや誤った記録も含まれており、インサイトを抽出する前に除去する必要があります。不正確なデータは誤った仮定や分析につながり、最終的にはプロジェクトの失敗を招きかねません。

データクレンジングとは、特定のデータベースから不正確なレコードを修正し、必要に応じて削除するプロセスのことです。その目的は、いわゆる「ダーティデータ(汚れたデータ)」を検出して修正または削除し、対象のデータセットが正確であること、そしてシステム内の他のデータセットとの整合性が保たれていることを保証することにあります。

データクレンジングツールにはさまざまな種類があり、優れたツールはデータベースから重複データ、不正なエントリ、誤った情報を取り除くのに役立ちます。これらのツールは、使用環境に応じて以下の3つのカテゴリに分類できます。

1. オフライン型データクレンジングツール
2. クラウドベースのデータクレンジングツール
3. Salesforceデータ向けデータクレンジングツール

本記事では、特に有用なオフライン型データクレンジングツールを8つ紹介します。

おすすめのオフライン型データクレンジングツール

1. Drake

Drakeは、シンプルで使いやすく拡張性の高いテキストベースのデータワークフローツールです。コマンド実行をデータとその依存関係を中心に整理でき、データ処理の各ステップを入力と出力とともに定義すると、依存関係が自動的に解決されます。ワークフローを制御するための豊富なオプションを備え、複数の入出力に対応しているほか、HDFSサポートも組み込まれています。

2. OpenRefine

OpenRefine(旧Google Refine)は、乱雑なデータを扱うためのスタンドアロン型オープンソースのデスクトップアプリケーションです。データのクリーンアップやフォーマット変換といったデータラングリング機能を提供します。操作感はスプレッドシートアプリケーションに似ていますが、実際にはデータベースのように動作します。

リレーショナルデータベースのテーブルと同様に、列の下にセルが並ぶ行単位でデータを操作します。1つのOpenRefineプロジェクトが1つのテーブルに相当し、ユーザーはさまざまなフィルタリング条件で行の表示を切り替えられます。また、データセットに対して実行したすべての操作はプロジェクトに保存されるため、別のデータセットに対して同じ処理を再実行することも可能です。

3. Trifacta Wrangler

このツールは、データラングリングプロセスを強力に支援します。データラングリングとは、半自動化ツールを活用しながら、生データをより扱いやすい別の形式へ変換・マッピングするプロセスのことです。

Wranglerは、組織が多様なデータから価値を引き出す方法を劇的に改善します。データ可視化、機械学習、ヒューマンコンピュータインタラクション、データ処理の最新技術を活用し、アナリストがデータを活用可能な形にするための新しいアプローチを採用しています。その狙いはシンプルで、「フォーマット作業の時間を減らし、分析により多くの時間を費やす」こと。乱雑な現実世界のデータを対話的に変換し、分析ツールでそのまま使えるデータテーブルへと仕上げられます。

4. DataCleaner

DataCleanerは、データ品質分析アプリケーションであり、データ品質ソリューションのためのプラットフォームでもあります。その中核は強力なプロファイリングエンジンで、拡張可能な設計により、データクレンジング、変換、エンリッチメント、重複排除、マッチング、マージなどの機能を追加できます。主な特徴は以下の通りです。

1. パターン、欠損値、文字セットなど、データ値の特性を検出
2. 氏名・住所のバリデーションによる連絡先情報のクレンジング
3. ファジーロジックと設定可能な重み・しきい値による重複検出と、単一マスターレコードの作成
4. 独自のクレンジングルールを構築し、複数の利用シナリオやターゲットデータベースに適用

5. Winpure Clean & Match

データ品質管理は、プロジェクトやキャンペーン全体の成功を左右する最も重要な要素です。Winpure Clean & Matchは、ビジネスデータや顧客データの精度向上のために特別に設計されたデータクレンジング&マッチングスイートです。受賞歴もあるソフトウェアスイートで、メーリングリスト、データベース、スプレッドシート、CRMのクリーニング、修正、重複排除に最適です。Access、Dbase、SQL Serverなどのデータベースのほか、Excel表やテキストファイルにも対応しています。

6. TIBCO Clarity

TIBCO Clarityは、SaaS(Software-as-a-Service)形式でWeb経由のオンデマンドサービスを提供するデータ準備ツールです。さまざまなソースから収集した生データを発見・プロファイル・クレンジング・標準化し、正確な分析とインテリジェントな意思決定のための高品質データを提供します。生データ管理における主な機能は以下の通りです。

1. シームレスな統合
2. データディスカバリーとプロファイリング
3. 重複排除
4. 住所標準化
5. データ変換

7. Data Ladder

Data Ladder社はデータ品質ソフトウェアの専門企業で、データマッチング、プロファイリング、重複排除、エンリッチメントツールを通じて、ビジネスユーザーがデータを最大限に活用できるよう支援することを目指しています。主力製品のData Match Enterpriseスイートは、顧客データや連絡先データの品質問題の解決に特化した、視覚操作性に優れたデスクトップ型データクレンジングアプリケーションです。音声的な類似、ファジーマッチ、打ち間違い、略称などのバリエーションを検出するための、独自アルゴリズムと標準アルゴリズムを多数搭載しています。

同社のデータ重複排除ソフトウェアは、データ品質、クレンジング、マッチング、重複排除のための完全なソリューションを、使いやすいひとつのソフトウェアスイートにまとめて提供します。

8. Star DQ Pro

Star DQ Proは、データが正確で真正性があり、常に最新の状態であることを保証するツールです。正確性、完全性、一貫性、適時性、一意性、有効性といったデータ品質の重要な要件に幅広く対応しています。提供される主な機能は以下の通りです。

1. クレンジング:欠陥の種類を特定し、コメント付きで未クレンジングデータのログを生成
2. 重複排除:グループ化・クラスタリング、誤表記の識別、継続的な増分重複排除
3. モニタリング:トランザクションログ、メール/SMSによるプロセス状態アラート、ユーザー認証

まとめ

大量のデータを保存・活用する場合、データクレンジングは特に重要になります。ダーティデータに対する是正措置の目的は、エラーの影響を可能な限り小さくすることにあります。データクレンジングを定期的に実施しなければ、ミスが蓄積し、業務効率の低下を招く恐れがあります。まずは自社の環境やデータ規模に合ったツールを選び、継続的なデータ品質管理体制を整えることが成功への第一歩となるでしょう。次回のビッグデータ関連記事では、クラウドベースのデータクレンジングツールとSalesforceデータベース向けツールを紹介する予定です。