データ伝播によるデータ共有の主な手法とは？3つの方式をわかりやすく解説

データ伝播（Data Propagation）とは

データ伝播とは、あらかじめ定められた伝播ルールに従って、1つ以上のソースデータウェアハウスから別のローカルアクセス用データベースへデータを配分する仕組みのことです。

データウェアハウスは、日々膨大な量のデータを管理しなければなりません。当初はごく少量の情報から始まったデータウェアハウスも、複数のデータソースとの間で絶えずデータの送受信を行うことで、日を追うごとに規模が拡大していきます。

データウェアハウス管理における課題

データ共有が進むにつれて、データウェアハウスの管理は重大な問題となりえます。企業情報をより効率的に、複数のサブセット・整理区分・時間軸ごとに管理するためには、高度なデータベース管理が求められます。

また、これらのデータリソースは常に最新の状態に保つ必要があります。更新プロセスには、大量のレコードをあるシステムから別のシステムへ移動させたり、ビジネスインテリジェンス（BI）システムとの間で双方向にデータをやり取りしたりする作業が含まれます。

一般に、大量のデータ移動は、運用ソフトウェアやウェアハウス内データのパフォーマンスや可用性を損なうことなく、短時間のうちにバッチ処理として実行されます。しかし、変更対象となるデータ量が大きくなるほど、処理の手順は困難かつ複雑になります。そのため、データウェアハウス管理者には、大量の情報をより迅速に変換する手段を見つけるとともに、前回のウェアハウス更新以降に変更されたデータだけを識別して転送する仕組みを構築することが求められます。

データ伝播によるデータ共有の3つの主要手法

データ伝播によるデータ共有に伴う課題を解決するために、以下の3つの手法が開発されています。

1. 一括抽出（Bulk Extract）

この手法では、コピーマネジメントツールやユーティリティを使用して、運用系リレーショナルデータベースの全データまたは一部のサブセットを取り出します。抽出された情報は通常、ファイル転送プロトコル（FTP）などの類似技術を使ってターゲットデータベースへ転送されます。抽出後のデータは、ホスト側またはオブジェクトサーバー側で使用されている形式に変換することも可能です。

2. ファイル比較（File Compare）

この手法は、一括移動アプローチを発展させたものです。直近に抽出した運用データを過去のバージョンと比較し、その結果として差分（増分変更）データのセットを生成します。差分データの処理方法自体は一括抽出とほぼ同じですが、異なるのは、生成された差分がスケジュールされたタイミングでオブジェクトサーバーへの更新データとして適用される点です。データ変更箇所が限られている小規模なデータセットに対して推奨される手法です。

3. 変更データ伝播（Change Data Propagation）

この手法は、ソフトウェアの変更処理プロセスの一環として、ファイルに対する変更を自動的にキャプチャします。変更データ伝播の実装には、トリガー、ログ出口（log exits）、ログ後処理、DBMS拡張など、複数の技術を利用できます。キャプチャされた変更内容は、差分変更ファイルとして出力されます。

ソース側のトランザクションが完了すると、変更データは変換されたうえでターゲットデータベースへ反映されます。この方式のデータ伝播は「準リアルタイム伝播」または「連続伝播」と呼ばれることもあり、ごく短い時間差でソースシステムとターゲットデータベースの同期を維持するために活用されています。