データソースを選択するための基準とは?押さえるべき3つのポイント
データソース選択の基準
データウェアハウスを構築する際、どのデータソースを採用するかは非常に重要な意思決定です。データソースを選択する際には、さまざまな基準が存在します。ここでは、主な判断基準を3つの観点から解説します。
1. データへのアクセス容易性(アクセシビリティ)
同じデータを取得できるフィードが2つある状況を考えてみましょう。一方は、プロジェクトチームで最も若いメンバーが生まれる前に書かれたプログラム群によって管理されているバイナリファイルに格納されたデータ。もう一方は、そのバイナリファイルを読み取り、より高度な処理をサポートするシステムから提供されるデータです。この場合、どちらを選ぶべきかは明白でしょう。アクセスしやすく、扱いやすいデータソースを選択することが重要です。
2. データの正確性(精度)
データはシステム間を受け渡される過程で、数多くの変更が加えられます。他のシステムから新しいデータ要素が追加されることもあれば、既存の要素を加工して新しい要素が生成されることもあり、さらには一部の要素が削除されることさえあります。
各システムはそれぞれの機能を適切に果たしています。しかし、その結果として元のデータを識別することが困難、あるいは不可能になる場合があります。また、データがもはやビジネス分析に必要な内容を反映していないケースもあります。こうした下流システムからデータを提供すると、ユーザーはデータの正確性に疑問を抱くかもしれません。
3. プロジェクトのスケジューリング
多くの組織では、データウェアハウスプロジェクトは、既存のOLTPシステムのリプレース(書き換え)の一環として始まります。新システム開発プロジェクトが進み始めると、データウェアハウスの価値を確信しているビジネスユーザーから「早く実装してほしい」という要望が強まる傾向があります。
履歴データを提供するには、既存システムのデータをデータウェアハウスに組み込む必要があります。仮に旧システムのリプレースが遅延しても、データウェアハウスは現行システムを利用し続けることができます。そして、新システムが本番稼働した時点で、データフィードを新システムへ切り替えればよいのです。多くの場合、新システムの完成を待たずに、データウェアハウスを先行して提供することが可能です。
ディメンション情報とマスターファイルの課題
トランザクションデータやファクトデータには通常、何らかのディメンション情報が付随していますが、その多くは最小限のもので、コード形式であることがほとんどです。ユーザーが必要とする追加属性は、複数のシステムや統合マスターファイルから供給する必要があります。
多くの場合、特に顧客ディメンションについては、複数のマスターファイルが存在しがちです。組織内で使用されるファイルが部門ごとに分かれており、営業部門、マーケティング部門、財務部門がそれぞれ独自の顧客マスターファイルを持っているケースも珍しくありません。
ここで2つの難しい問題が生じます。第一に、各ファイルに含まれる顧客の範囲が異なる可能性があり、さらに各顧客に関する属性も異なる可能性があることです。第二に、共通項目のはずの情報が一致しない場合があることです。もし無限の時間と資金があれば、すべてのソースから豊富なデータを抽出し、それらを統合して包括的な顧客ビューを構築できるでしょう。
しかし実際には、一度にそれを実現するだけの時間も資金も十分ではないのが普通です。このような場合は、ユーザーと協力して情報の優先順位を付け、対応可能な範囲から着手し、将来的に段階的に拡張していくことをお勧めします。
-
データマイニングの主な手法とは?押さえておきたい5つの技法を解説
データマイニングとは、統計学や数学などの手法を含むパターン認識技術を活用し、データベースに蓄積された膨大なデータの中から、有用な新たな相関関係・パターン・トレンドを発見する一連のプロセスです。単にデータを収集するだけでなく、事実に基づくデータセットを分析して予期していなかった関係性を明らかにし、データの保有者にとって論理的かつ実用的な形で情報を要約することを目的としています。最大の課題は、問題解決や企業の発展につながる本質的な情報を、大量のデータからいかに効率よく抽出するかという点にあります。現在では、データマイニングとより良い意思決定を支援するための多彩なツールや技術が数多く提供されており、
-
データキューブ計算を効率化する主要な最適化手法とは?
データキューブの計算を効率的に行うためには、いくつかの一般的な最適化手法が知られています。本記事では、代表的な4つの手法について詳しく解説します。 1. ソート・ハッシュ・グループ化の活用 次元属性に対してソート、ハッシュ、グループ化の操作を適用することで、関連するタプルを並べ替えたりクラスタリングしたりできます。キューブ計算では、同じ次元値のセットを持つタプルに対して集計処理が行われるため、こうしたデータへアクセスしグループ化するために、ソート・ハッシュ・グループ化の機能を活用することが重要です。 例えば、支店別・日別・商品別の売上合計を計算する場合、タプルやセルをまず支店順に、次に日付順に