プログラミング
 Computer >> コンピューター >  >> プログラミング >> プログラミング

メタデータハブとは?データウェアハウス開発における役割と4つの要件

メタデータハブ(Metadata Hub)とは、意思決定支援システムなどの処理製品間で、技術的なメタデータの交換や配布を担うための仕組みです。主にデータウェアハウスの構築・成長・保守の場面で、技術スタッフによって使用されることを想定して設計されています。

メタデータハブには、大きく分けて以下の4つの要件が求められます。

要件1:メタデータの相互交換機能

メタデータハブは、共有メタデータ環境内の各システムや製品間でメタデータを相互に交換できる必要があります。そのためには、サードパーティ製ツールがハブのサービスを操作できるよう、レコードおよびオープンなプログラマティックオブジェクトインターフェース(COMやCORBAなど)を備えていなければなりません。

さらに、メタデータ交換のためのファイル転送機構として、業界で認められたファイル形式(カンマ区切りファイル、Meta Data CoalitionのMDIS、Microsoft XML Interchange Formatなど)にも対応していることが求められます。

要件2:メタデータストアによる管理と共有

メタデータハブは、メタデータの管理と共有を行うための永続的なストアを提供しなければなりません。ストア内のメタデータは、前述のオブジェクトAPIやファイル転送方式に加え、付属のGUIやWebユーザーインターフェースからも保守できる必要があります。

要件3:影響分析・バージョン管理・分散環境への対応

対話型およびバッチ処理によるメタデータの影響分析やドキュメント化機能も不可欠です。ハブは、ユーザーが指定した間隔でローカルの製品やシステムをスキャンし、新規または更新されたメタデータを検出してメタデータストアに取り込むエージェントインターフェースを備える必要があります。

また、ストア内のメタデータを管理するメタデータマネージャーには、変更履歴を作成してチーム開発を支援するバージョン管理・ライブラリ管理機能が求められます。大規模な分散環境では、管理者が複数のハブサーバーやメタデータストアにまたがってメタデータ環境を物理的に分割(パーティショニング)できることも重要です。

要件4:ウェアハウス情報ストア定義の管理

メタデータハブは、少なくともデータウェアハウスの情報ストア定義を管理できる必要があります。対応すべき形式には、リレーショナルテーブルやカラムのほか、多次元モデルにおけるメジャー(測定値)やディメンション(次元)が含まれます。

加えて、ウェアハウスのレコード生成元となったデータソースに関するメタデータや、ソースデータがウェアハウスへロードされる前に施される変換処理に関するメタデータも扱います。

ただし、現在のETLツールはそれぞれ独自の変換手法を採用しているため、こうしたメタデータを管理する汎用的な仕組みを実現するのは容易ではありません。そのため最低限、データソースや変換に関するメタデータを自由形式のテキストで文書化できる機能が必要です。

理想としては、共通ビジネスモデルに関連するビジネスメタデータや、BIツールや分析ソフトウェアがウェアハウスデータへアクセスする際に利用するビジネスビューについても、詳細を文書化できることが望まれます。

  1. データセンターとは?仕組み・用途・セキュリティ対策をわかりやすく解説

    データセンターとはデータセンターとは、大量のコンピュータサーバーや関連機器を収容するために設けられた専用施設のことです。英語では「data center」と表記するのが一般的ですが、「datacenter」と一語で書かれることもあります。イメージとしては、「壁からはみ出してしまったコンピュータ室」のようなものです。データセンターには、企業ユーザーのメール、財務記録、ウェブサイトのデータなど、あらゆる種類のデータを保存することができます。データセンターは何に使われるのか?一部のオンラインサービスは規模が非常に大きく、1〜2台のサーバーでは運用できません。そうしたサービスでは、サービスを動かすため

  2. シリアライズ(直列化)とは?仕組みからマーシャリングとの違い、活用例まで徹底解説

    最近のプロジェクト進捗ミーティングで、私たちのチームは「シリアライズ(直列化)」を使ってアプリケーション間でデータをやり取りする方法について話し合いました。すると、ソフトウェア開発にもっと携わりたいというエンジニアから、「その用語はよく知らない」という声が上がりました。こうした重要なプロセスは、規模の大きいプロジェクトに踏み込むまで登場しないため、見落とされがちです。この方にとってはそうでしたし、かつての私自身もまったく同じでした。そこで、この記事を書くことにしました。あの日同僚にシリアライズについて教えたように、今日はあなたにその知識をお伝えします。シリアライズとは何か?シリアライズとは、あ