データ変換のサービスは何ですか？

データ変換では、データはマイニングに適用可能な形式に変換またはリンクされます。データ変換には、次のものを含めることができます-

• スムージング −データからノイズを除去するために機能する可能性があります。このような手法には、ビニング、回帰、クラスタリングが含まれます。

• 集約 −集計では、集計または集計操作がデータに適用されます。

• 一般化 −一般化では、低レベルまたは「プリミティブ」（生）データが、概念階層の必要性を通じて大規模な概念によって復元されます。

データ変換には次のようなさまざまなサービスがあります-

統合 −統合には、代理キーの生成、あるスキームから別のスキームへのキーのマッピング、およびプログラムの完全な説明へのマッピングが含まれます。この変換の背後にあるマスターキールックアップテーブルをサポートする暗黙の権限があります。

ゆっくりと変化する寸法のメンテナンス −変更された値を識別し、代理キーを作成するのは難しいプロセスですが、スペースワープ数学ではありません。データステージングツールを購入する場合は、ゆっくりと変化するディメンションを管理するためのアルゴリズムが組み込まれている必要があります。

非正規化と再正規化 −個別のテーブルの階層をディメンションに非正規化することは、標準的なウェアハウス変換プロセスです。一部のデータステージングツールは、この機能を自動的に実行するスタースキーマ機能を提供します。さらに、ファクトテーブルフェーズで非正規化が行われます。

たとえば、財務スキーマには、Actual、Budget、またはForecastの値を持つ金額タイプのディメンションが含まれる場合があります。これらのレコードに含まれる詳細レベルによっては、この列を、金額タイプごとに1つずつ、合計3列の金額を持つ単一の行にピボットすることは非常に理にかなっています。

クレンジング、重複排除、マージ/パージ −これは、多くのデータウェアハウス、特に顧客、企業、医師、患者などの外部エンティティに関係するデータウェアハウスにとって大きな問題です。これは複雑なプロセスですが、いくつかのベンダーがこの問題に特化したツールとサービスを提供しています。

データ型変換 −これには、あるデータ型または形式を別のデータ型または形式に変換する低レベルの変換が含まれます。これは、IBMのメインフレーム文字セットEBCDICをASCIIに変換することから、日付、数値、および文字表現を1つのデータベースから別のデータベースに変換することまで多岐にわたります。

計算、導出、割り当て −これらは、要件フェーズで認識されたビジネスルールを使用するための変換です。選択できるツールに、文字列操作、日付と時刻の算術、条件文、基本的な数学など、使用可能な関数の完全なセットがあることを確認してください。

集約 −集約は、どの段階でどのリソースにアクセスできるかに基づいて、ロードプロセスの一部の要素で管理できます。抽出または変換プロセスの要素として集計を計算できる場合は、Syncsortなどのツールをフラットレコードに直接使用できます。これらのユーティリティは、並べ替えとレポート用に開発されており、完全に優れています。