データ レイク:データ ウェアハウスに取って代わるか?

私たちは、データが最も重要な時代に生きています。あなたが誰であろうと、あなたが持っているデータは非常に重要であり、それを保存するにはスペースが必要です。個人から大規模な組織に至るまで、誰もがデータにアクセス可能で安全な状態を維持できるよう懸命に努力しています。このシナリオでは、データ レイクが役に立ちますか?はいの場合、どのように？ブログを読んで、同じことを理解してください!

データレイクとは

すべての構造化データと非構造化データを 1 か所で表示できる集中型リポジトリとして定義できます。最良の部分は、構造化または分析せずにそのまま保存できることです。これをプラットフォームと考える前に、これがプラットフォームではないことをはっきりさせておきたいと思います。 Hadoop で管理されているのは、膨大な量のデータです。データ レイクは、データの管理を支援するだけでなく、その価値を引き出すこともできるため、大衆的な人気を集めています。

データから価値を生み出すことに成功している組織は、通常、同業他社よりも優れていることがわかっています。しかし、これはどのように起こったのですか？組織は、データ レイクに存在するデータに対してさまざまな種類の分析を実行することができ、手間をかけずに新たな成長機会を特定するのに役立ちました。このようにして、生産性を高め、デバイスを維持し、積極的に意思決定を行うことは、難しいことではありません。これはデータ ウェアハウジングとまったく同じだと主張する人もいるかもしれませんが、実際はまったく異なります。どちらも重要であり、データの専門家がどちらかを選択することはできません。さらに、機械学習、分析、およびその他の分析ツールも、データ ウェアハウスではなくデータ レイクに簡単に実装できます。

出典:aws.amazon.com

データ ウェアハウスとの違いは?

この 2 つは互いに異なっていますが、一方を他方に捨ててよいという意味ではありません。ニーズに応じて、組織は一方または両方を必要とする場合があります!

違いについて言えば、これら 2 つの主な違いは、データレイクがデータを迅速に取り込み、人々がアクセスを開始したときにデータを準備することです。反対に、データ ウェアハウジングの場合、データをウェアハウスに入れる前に、データを注意深く分析する必要があります。 SQL クエリによるデータの取得が高速であることは否定できませんが、体系的な形式でデータを配置することは容易ではありません。データレイクの場合、データの取得に時間がかかる場合がありますが、簡単にデータを保存できます。

組織はデータ レイクを十分に認識しており、データ ウェアハウスからデータ レイクへと進化しようとしています。差別化ポイントの詳細については、以下の表を参照してください。

出典:aws.amazon.com

また、分析フォームには詳細なソース データが必要であるという事実を無視することはできません。これが、データ レイクがデータ分析の宝である理由です。ただし、データ レイクによってデータが使用可能になるという事実を無視することはできませんが、データ ストレージには定義済みのメカニズムが必要です。

データレイクへの障壁はありますか?

確かにそうです、何も完璧ではありません！データレイクの場合、特定の問題があります。それらのいくつかは次のとおりです。

データレイクの設計

ほとんどの企業がデータ ウェアハウスをデータ レイクにアップグレードするため、設計が正確に行われていません。この背後にある理由は、データ ウェアハウスは同じように高度に構造化された形式を必要とするのに対し、データ レイクはよりシンプルで生データを保存できるという事実です。設計を即興で行わずに次から次へと移行することはできません。そうしないと、間に詰まってしまうからです。

出典:in.pcmag.com

セキュリティ

攻撃者は現在、他者のシステムに侵入するための知識とツールを十分に備えています。そのため、セキュリティのレイヤーを追加せずに貴重なデータを Data Lake に保持することは、人生で最大の過ちになる可能性があります。非構造化データは簡単に抽出でき、セキュリティがない場合は身代金を要求することさえできます。

熟練した人材の可用性

はい、私たちはデータ ストレージ テクノロジを指数関数的に改善していますが、必要なスキルと利用可能な専門家の間にはまだギャップがあります。このことを認識し、そのようなシステムを処理する方法を知っている人は限られていますが、企業はこれを忘れずに急いで進化しています.

これらは、私たちが課題に直面している分野の一部であり、専門家は、データレイクを大規模に使用し始めると、さらに多くの課題が現れると伝えています。

結論として、新しい技術はその可能性を最大限に引き出すには時間がかかり、これからも同じことが予想されます。しかし、今旅を始めた人は、長期的には間違いなく恩恵を受けるでしょう.新しいものであり、あなたの期待を超えて成長する可能性があるので、このフェラに注目してください。

どう思いますか？以下のコメント セクションであなたの見解を忘れずに述べてください!