データ変換サービスとは？主な処理内容と種類を徹底解説

データ変換とは

データ変換（データトランスフォーメーション）とは、データマイニングに適用できる形へとデータを変換・関連付けるプロセスです。分析の精度を高めるためには、元データを整形し、扱いやすい構造に整えることが不可欠です。

データ変換には、以下のような基本的な処理が含まれます。

スムージング（平滑化）

データからノイズ（不要な揺らぎ）を取り除く処理です。代表的な手法としては、ビニング、回帰分析、クラスタリングなどが挙げられます。

集約（アグリゲーション）

データに対して要約や集計の操作を適用する処理です。大量のデータを統計的にまとめ、全体像を把握しやすくします。

一般化

低レベル、あるいは「プリミティブ（生）」と呼ばれる未加工のデータを、概念階層を利用してより抽象度の高い概念へ置き換える処理です。例えば、「東京」「大阪」という都市名を「日本」という国レベルにまとめるといったイメージです。

データ変換の主なサービス

ここからは、データ変換で提供される代表的なサービスについて詳しく見ていきましょう。

統合（インテグレーション）

統合には、サロゲートキー（代替キー）の生成、あるスキーマから別のスキーマへのキーのマッピング、プログラムの完全な記述へのマッピングなどが含まれます。この変換の背後には、マスターキーの参照テーブルをサポートする暗黙的な仕組みが存在します。

緩慢変化ディメンションの管理

変更された値を識別し、サロゲートキーを作成する作業は一見複雑ですが、特別な技術が必要というわけではありません。データステージングツールを購入するのであれば、緩慢変化ディメンション（SCD）を管理するためのアルゴリズムが組み込まれているはずです。

非正規化と再正規化

個別のテーブル群からなる階層構造を1つのディメンションへ非正規化することは、データウェアハウスにおける標準的な変換プロセスです。一部のデータステージングツールは、この機能を自動的に実行するスタースキーマ機能を提供しています。

また、ファクトテーブルの段階でも非正規化が行われることがあります。例えば、財務スキーマにおいて、金額タイプというディメンションに「実績」「予算」「予測」の値が格納されているケースを考えてみましょう。レコードに含まれる詳細レベルによっては、この列を「実績」「予算」「予測」という3つの金額カラムを持つ1行へとピボット変換した方が、扱いやすい場合があります。

クレンジング・重複排除・マージ／パージ

これは、顧客、企業、医師、患者といった外部エンティティを扱う多くのデータウェアハウスにとって大きな課題となる領域です。複雑なプロセスではありますが、この問題に特化したツールやサービスを提供しているベンダーも複数存在します。

データ型変換

あるデータ型や形式を別のものへ変換する、比較的低レベルな変換処理です。IBMのメインフレーム向け文字コードであるEBCDICからASCIIへの変換のように、日付、数値、文字列の表現形式をデータベース間で変換するなど、その範囲は多岐にわたります。

計算・導出・配賦

これらは、要件定義フェーズで洗い出されたビジネスルールを適用するための変換処理です。ツールを選定する際は、文字列操作、日付・時刻の演算、条件分岐、基本的な四則演算を含む充実した関数セットが備わっているかどうかを必ず確認しましょう。

集約（アグリゲーション）

集約処理は、どの段階でどのリソースが利用可能かに応じて、ロードプロセスの任意の段階で実行できます。抽出や変換のプロセスの一環として集約を計算できる場合は、Syncsortのようなユーティリティをフラットファイルに直接適用することも可能です。これらのユーティリティはソートやレポーティング用途向けに開発されており、その処理性能には定評があります。