データレイクとは何ですか、なぜ気にする必要がありますか

可能な限り多くの潜在的な価値を保持するために、元のデータを破棄することはできません。すべてのデータを未加工の形式で保持し、後で使用する方法を決定してみませんか？データを川のように中央のリポジトリに流し込み、「データ」の「湖」を形成することができます。 :)別の言い方をすれば、データを抽出して保存し、必要に応じてデータを変換してロードします（ELTと呼ばれることもあります。ETLでは「T」と「L」を入れ替えます）。

歴史的に、将来のある時点でのストレージと意味のある構造の抽出のコストは、そこに含まれる可能性のある情報の潜在的な価値をはるかに上回りましたが、ストレージのコストと有用な構造を混沌から抽出するコストは低下し、より多くの人々にとってますます経済的になっています。より多くの企業がまさにそれを実行します。

生データのコレクションはデータレイクですよね？

わかりました、簡単です。すべての生データを1つの場所にダンプするだけで、完了しますよね？それからは程遠い！データの取り込みは、顧客、企業、およびデータを保護すると同時に、将来のデータサイエンティストやアナリストが利用できるようにするために適切に実行する必要があります。これを行うには、多くの重要な要素を考慮する必要があります。

• 将来のデータサイエンティストやアナリストは、探しているものをどのように見つけるのでしょうか？生データはインデックスに登録する必要があります。

• どうすれば効率的な方法でデータを抽出できますか？ データは、列形式などの効率的なファイル形式で保存する必要があります。

• 個人情報（PII）、保護された健康情報（PHI）、カード会員データ（CD）、およびその他の機密データについてはどうですか？ データの難読化が必要です。

• データのプライバシー（GDPRなど）、データの主権、アクセスの制御をどのように処理して、別のデータ侵害の見出しにならないようにしますか？ 適切な権限とアクセス制御を適用するには、IDとアクセスの管理を実装する必要があります。

一部の識別キーを共有しない重複排除または一致するレコードはどうですか？ 123 Main St、Some Town、USA 123 Main Street、Some Town、USAと同じ場所 ？ ロバートスミスはどうですか およびボブスミス ？ご想像のとおり、これらは単純なシナリオです。実際のデータセットには、はるかに複雑な状況が存在します。

データがデータレイクに配置され、適切なインデックス作成とコントロールが適切に配置されたら、使用する前に構造化形式に変換する必要があります。通常、これは、読み取られるときにジャストインタイムスキーマを適用することを意味します。さまざまな生のソース形式が既知の構造に投影されるため、ML、ウェアハウジング、またはビジネスインテリジェンス（BI）システムで使用できます。 （私はこのプロセスをEtS-TL、Extract transform Store – Transform and Loadと呼ぶことを好みます。これは、データが湖に入るときに損失のないデータ変換が実行されるためです。ただし、命名法の議論は別のトピックです。）