データステージングとは？基本の仕組みとメリット・デメリットを解説

データステージングとは

データウェアハウス構築のプロセスにおいて、データステージング領域は「データステージングサーバーソフトウェア」と「抽出・変換・ロード（ETL）処理の結果を保管するアーカイブリポジトリ（データストア）」によって構成されます。

データステージングサーバーは、OLTP（基幹業務システム）などのデータソースから抽出したデータを一時的に保存し、加工を行います。一方、アーカイブリポジトリには、クレンジングや変換が完了したデータおよびその属性が格納され、後ほどデータマートやデータウェアハウスへのロードに利用されます。

データステージングのプロセスでは、情報をストリームまたはファイルとして取り込み、変換処理を施し、統合・クレンジング済みのデータを作成したうえで、データウェアハウス、データマート、あるいはODS（Operational Data Store）へのロードに備えてステージングします。

データフローの流れ

データステージングツールを利用する場合、データはデータベース内に存在し、ソースシステムから出力された後、変換エンジンを経由してステージングデータベースへと流れていきます。

もうひとつの方法としては、メインフレームのレガシーシステムを出発点とし、必要なレコードをフラットファイルに抽出します。そのファイルをステージングサーバーへ転送し、内容を変換したうえで、変換済みのデータをステージングデータベースにロードします。

なぜステージング領域が必要なのか

データウェアハウスにおけるステージング領域とは、ソースシステムからのデータを一旦複製しておくための一時的な領域です。タイミング調整の観点から、データウェアハウスアーキテクチャでは一般的にこのステージング領域が必要とされます。つまり、データをウェアハウスへ統合する前に、必要な情報がすべて揃った状態を作っておく必要があるのです。

ビジネスサイクルやデータ処理サイクルの違い、ハードウェアやネットワークリソースの制約、地理的な要因などにより、すべての稼働系データベースから全情報を厳密に同じタイミングで抽出することは現実的ではありません。

例：売上データは毎日抽出しても問題ない場合がありますが、月末に照合処理を必要とする財務データに対して日次抽出は適さないことがあります。同様に、東部標準時の正午にシンガポールのデータベースから「顧客」データを抽出するのは適切でも、シカゴのデータベースに対しては適切ではないといったケースが考えられます。

データウェアハウス内のデータには、永続的なもの（長期間保持されるデータ）と一時的なもの（短時間のみ保持されるデータ）があります。また、すべての企業がステージング領域を必要とするわけではありません。多くの企業では、ETLを使って稼働系データベースからデータウェアハウスへ直接データをコピーする方式で十分に対応できます。

データステージングのメリットとデメリット

メリット

• ステージング処理を変換処理と並行して制御できる。
• ステージングテーブルへの書き込みが1回で済むため（書き込み後に再度抽出する手間がない）、ディスクI/Oを半分に削減できる。

デメリット

• 変換プロセスが失敗すると、ステージングプロセスも停止してしまう。