データレイクとは何か?注目される理由とその価値を徹底解説

近年、データレイク(Data Lake)はテクノロジー界の「辺境」から、データサイエンス分野における「一等地」へと急速に存在感を高めています。なぜこのような流れが起きているのでしょうか。そして、なぜデータレイクが重要なのでしょうか。答えはシンプルです。そこには「価値」があるからです。

データには価値がある

企業が保有するデータには、計り知れない潜在的な価値が眠っていることが、ますます明らかになってきています。GoogleやFacebookなどのインターネット大手企業にとっては、企業価値の多くがデータから生み出されています。しかし、インターネット巨人でなくても、データから価値を引き出すことは十分に可能です。

例えば、製造業では機器の故障予測に、金融機関ではリスク管理の高度化に、オンライン小売業では顧客維持率の向上に、そして数え切れないほどの組織が新たなインサイト(洞察)の発見にデータを活用しています。一見すると単純な公式のように思えます。データをビジネスアナリティクスツールや機械学習(ML)システムに投入すれば、インサイトが得られる――。しかし現実はそう簡単ではありません。分析に取り掛かる前に、満たすべき重要な前提条件があります。それは、インサイトを含むデータを実際に保有していることです。

これはデータウェアハウスと何が違うのか?

「それなら、データウェアハウスが解決してくれる問題ではないのか」と思うかもしれません。実は、そう単純ではありません。データウェアハウスは、定義された一連のビジネス課題を解決するために構築されます。データウェアハウスへのデータ取り込みは、抽出・変換・格納(ETL)というワークフローを採用しています。ソースシステムからデータを抽出し、データウェアハウスの構造に変換してからロードします。この時点で、データはすでに構造化・フィルタリングされ、定義済みのビジネス課題に関連しないデータは排除されています。

ETLプロセスでは、暗黙的あるいは明示的に、一部のデータ値を保持し、他を破棄し、データを拡張し、データ項目間に関係性を形成し、また別のものを無視することになります。もし、破棄した情報が必要となる新しいビジネス課題が発見されたらどうなるでしょうか。ビジネス環境は常に変化しており、将来の問題を予測することはできません。現在のビジネス課題に対してどれほど正確なETLプロセスであっても、データウェアハウスへの投入時にこうした判断を下すことで、将来の膨大な潜在価値が失われてしまうのです。

そこで登場するのがデータレイク

できるだけ多くの潜在価値を保持するためには、元のデータを破棄してはいけません。すべてのデータを生の形式(Raw形式)のまま保持し、使い方は後から決めればよいのではないでしょうか。データを川のように中央リポジトリへ流し込み、「データ」の「湖」を形成するイメージです。言い換えれば、データを抽出して保存しておき、必要に応じて変換・ロードを行います。これはETLの「T」と「L」を入れ替えたELT(Extract, Load, Transform)と呼ばれることがあります。

歴史的には、ストレージのコストや、将来的に意味のある構造を抽出するコストが、そのデータが含み得る情報の潜在価値を大きく上回っていました。しかし、ストレージコストと、混沌としたデータから有用な構造を抽出するコストは低下し、ますます多くの企業にとって経済的に実行可能な選択肢となっています。

生データを集めるだけではデータレイクにならない

さて、単純な話に思えます。すべての生データを1つの場所にダンプすれば完了、ということでしょうか。全くそんなことはありません。顧客・企業・データを保護しながら、将来のデータサイエンティストやアナリストが利用できる状態にするには、適切なデータ取り込みが不可欠です。そのためには、多くの重要な要素を考慮しなければなりません。

• 将来のデータサイエンティストやアナリストは、目的のデータをどうやって見つけるのか?
  生データにはインデックスを作成する必要があります。

• データを効率的に抽出するにはどうすればよいのか?
  カラムナ形式など、効率的なファイル形式でデータを保存する必要があります。

• 個人情報(PII)、保護医療情報(PHI)、カード会員データ(CD)などの機密データはどう扱うのか?
  データ難読化(オブファスケーション)が必要です。

• データプライバシー(GDPRなど)やデータ主権への対応、アクセス制御をどう行い、データ漏洩による被害を防ぐのか?
  適切な権限とアクセス制御を適用するためのIDおよびアクセス管理(IAM)を実装する必要があります。

さらに、重複排除や、識別キーを持たないレコードのマッチングはどうでしょう。「123 Main St, Some Town, USA」と「123 Main Street, Some Town, USA」は同じ場所でしょうか。「Robert Smith」と「Bob Smith」は同じ人物でしょうか。ご想像のとおり、これらは単純な例にすぎません。実際のデータセットには、はるかに複雑なケースが存在します。

データがデータレイクに入り、適切なインデックスと管理策が整ったら、次は利用可能な形へ変換する必要があります。一般的には、読み込み時にジャストインタイムでスキーマを適用します。さまざまな生のソース形式を既知の構造へ投影することで、ML、データウェアハウス、BI(ビジネスインテリジェンス)システムがデータを利用できるようになります。

データの活用

データはレイクに入りましたが、現状のままでは利用できません。先送りされていたデータ変換の判断を、ここで下すことになります。スキーマが決定されデータが抽出されたら、スキーマ固有の方法でクレンジングを行う必要があります。あるスキーマや分析では無効なデータでも、別のスキーマや分析では完全に有効な場合があるからです。

例えば、所有者の氏名、物件住所、物件価格、支払い滞納状況、土地用途(住宅、オフィスビル、工業用地など)、固定資産税口座番号を含む土地所有データセットを考えてみましょう。土地用途と支払い滞納の相関関係を調べるのに、所有者の氏名は不要です。同様に、物件価格と土地用途の相関関係を探すのに、滞納データは不要です。あるデータスライスのある行でデータ項目が欠落していても、別のデータスライスの同じ行が無効になるわけではありません。データレイクを使えばデータ分析の選択肢を柔軟に保てますが、それに伴う複雑さとコストも存在します。

これらのステップがすべて完了すれば、ようやくデータ分析ツール、BIシステム、MLモデルが本領を発揮できる段階になります。しかも、データレイクを活用することで、データに含まれる将来の潜在価値をうっかり失うこともありません。未来を予知していなくても、将来のビジネス上の問いを自由に探究できるのです。

まとめ

データウェアハウスがフィルタリングされ準備済みですぐ使える状態であるのに対し、データレイクは「貯水池」のようなものであり、生のまま消費することを意図していません。レイク内のデータは、利用前に準備が必要です。あらゆる貯水池と同様、将来の利用に備えて適切に管理しなければなりません。具体的には、以下の4つの観点から実現します。

• 流入の管理:ストレージファイル形式の選定とデータ難読化
• 内容の把握:インデックス作成と重複排除
• 不正利用からの保護:IDおよびアクセス管理(IAM)
• 浄化施設:データ抽出、スキーマ適用、データクレンジング

氷山の一角 ― クラウド導入で残る課題

幸いなことに、クラウド時代においては、データレイクを実装するために自前でツールや技術を開発する必要はありません。例えば、AWS Lake Formationは、データレイク自体に直接関連するツールや技術の課題に対応します。しかし、依然として多くの難しい問いが残っています。

• これらのツールを正しく使いこなせているか?
• データ取り込みのための適切なネットワーク接続を設定できる専門知識を持っているか?
• VPNで十分か、それとも専用線(AWS Direct Connect)が必要か?

データレイクへの移行は、会社のデータという「金鉱」をクラウドに預けることを意味します。不正アクセスを防ぐために適切に保護されていると確信できますか?コスト効率の良い方法でデータにアクセスしていますか?忘れてはならないのは、クラウドからのデータ転送(取り出し)は無料ではないという点です。

データレイクの構築を検討している場合は、クラウドアーキテクトやマネージドサービスの専門家に相談することで、迅速かつ安全に、効率的な環境を立ち上げることができます。設計段階からセキュリティ、コスト最適化まで、専門知識を活用することが成功への近道です。