ビッグデータのグレーゾーン――成功のための「やるべきこと」と「避けるべきこと」

はじめに

これまでの記事では、ビッグデータアーキテクチャ設計の基本ステップや、アーキテクチャの各レイヤーが持つ機能について解説してきました。

ビッグデータは、あらゆる業種にとって大きな可能性を秘めています。これを効果的かつ効率的に活用できれば、意思決定や分析に多大な影響をもたらします。しかし、その恩恵を受けられるのは、構造化された形で適切に管理されている場合に限られます。

ビッグデータ倫理をめぐるジレンマに対する完璧な答えをお探しなら、本記事でも――そして他のどの記事でも――見つけることはできないでしょう。完璧な答えは存在しないからです。もし明白で簡単な正解があるなら、そもそもジレンマは生じず、グレーゾーンも存在しないはずです。

現在、多くの企業がビッグデータへの道のりを歩み始め、実行の初期段階にあります。以下の「やるべきこと(DO'S)」と「やってはいけないこと(DON'TS)」を、ぜひ自社の戦略の一環として取り入れてください。

やるべきこと(DO'S)

1. ビッグデータ戦略にすべての事業部門を関与させる

ビッグデータの取り組みは、孤立した独立した活動ではありません。有用なインサイトを得るためには、すべての事業部門を巻き込む必要があります。ビッグデータを活用することで、企業は膨大な量のデータから顧客像、その行動、業務プロセス、イベントなどを把握できます。その結果、組織はあらゆる経路から届くあらゆる種類のデータへと注力するようになっています。

2. ビッグデータ実装のためのすべてのインフラモデルを評価する

ビッグデータはペタバイト級のデータを扱います。このデータの管理は重大な課題であり、ストレージを選定する際にはコスト要素も考慮しなければなりません。データセンターやクラウドサービスが有力なソリューションとして浮上しています。ストレージは最も重要な要素のひとつであり、慎重に評価すべきです。

3. 従来型のデータソースもビッグデータ戦略の一部として考える

従来型データは、あらゆるビッグデータ活用の成功において重要な構成要素です。ビッグデータ分析の結果をデータウェアハウスと組み合わせて活用する計画を立てることが不可欠です。データウェアハウスには、自社の業務の進め方に関する情報が蓄積されています。

したがって、ビッグデータの分析結果をコアデータのベンチマークと比較できることは、意思決定において極めて重要です。

4. 一貫性のあるビッグメタデータを計画する

ビッグデータの特徴のひとつは「多様性(VARIETY)」です。ビッグデータ環境では、形式・構造・種類の異なるさまざまなソースからデータが流入するため、データはクレンジングされていない状態です。繰り返し観察と分析を行い、入力データの一貫性を確認しましょう。データが一貫していれば、それは一貫性のあるビッグメタデータとみなせます。

5. ビッグデータを分散配置する

この膨大なデータを1台のサーバーで管理するのは非現実的な夢にすぎません。Hadoopなどの分散コンピューティング技術をシステムに取り入れ、データの規模・多様性・求められる処理速度に効果的に対応しましょう。

6. 必ず検証を行う

データと分析に関しては、誰よりも懐疑的であれ。不正確なデータや無効な分析結果を提示するほど、経営層からの信頼を失う近道はありません。

やってはいけないこと(DON'TS)

1. 単一のビッグデータ分析手法に依存しない

ビッグデータ処理にはさまざまな技術が市場に存在し、Hadoopはその基盤です。だからこそ、目的に合った正しい技術を見極めることが重要です。優れた分析アプローチの例としては、予測分析、処方的分析(プレスクリプティブ分析)、テキスト分析、ストリームデータ分析などが挙げられます。

最適なものを選ぶための最善の方法は、利用可能なすべてのアプローチを調査することです。実験を重ねながら、自社のビジネスに最適な技術ソリューションを選びましょう。

2. 準備が整う前に大規模なビッグデータ施策を始めない

ビッグデータの潜在力は非常に魅力的ですが、真の価値はミスを減らし専門性を高めてこそ実現できます。注意してください。最初からすべてに手を出してはいけません。走る前に歩くことを心がけましょう。競合に先んじるのは良いことですが、賢さと経験を持って進める方が望ましいのです。

フルスタックを構築するには、小さく始める必要があります。ビッグデータの取り組みは、小さな一歩から始めるのが常におすすめです。まずパイロットプロジェクトで専門性を磨き、その後、本格的な実装に進みましょう。

3. ビッグデータ統合の必要性を見過ごさない

データソースは私たちの周りに散在しており、日々増加し続けています。効果的な分析結果は、すべてのデータソースを統合してこそ得られます。市場には優れたデータ統合技術が多数ありますが、導入前に必ず適切に評価すべきです。

4. ビッグデータの安全な管理を忘れない

データセキュリティは、ビッグデータ計画における主要な検討事項です。企業がビッグデータ分析に乗り出すとき、従来のデータ管理環境で当然とされていた水準のデータセキュリティとガバナンスを維持することを忘れがちです。

ペタバイト級のデータすべてに厳格なセキュリティを施すのは現実的ではありません。しかし、ある程度処理を進めると、有益なインサイトを提供するデータのサブセットが得られます。この時点でデータセキュリティが不可欠になります。データが洗練されるほど価値は高まり、その洗練されたデータは知的財産となるため、必ず保護しなければなりません。したがって、データセキュリティはビッグデータライフサイクルの一部として実装すべきです。

セキュリティ対策と併せて、プライバシーへの配慮も忘れてはなりません。

5. ビッグデータのパフォーマンス管理の必要性を見過ごさない

分析ツールの結果は、良好なパフォーマンスを発揮してこそ有用です。ビッグデータは、大量のデータを高速に処理することで、より多くのインサイトを提供します。この能力は大きなメリットであるため、データを効果的かつ効率的に管理する必要があります。そのために、ビッグデータのロードマップと計画の中に管理容易性を組み込んでおきましょう。

6. 不良データやレコードを未解決のまま放置しない

これは具体的には、重複データの削除、NULL値が発生している原因の把握、データ形式の標準化、キーフィールドの維持を意味します。データを継続的にクリーニングすることで、有効性と正確性を確保しながら、常に最新の状態に保つことができます。

まとめ

ビッグデータの力を引き出すには、技術だけでは不十分です。ビジネス部門とIT部門の協働が不可欠です。ビッグデータ分析に銀の弾丸はありませんが、成功は堅固な戦略から始まります。本記事のヒントを活かし、プロセス最適化から顧客体験の向上まで、貴重なインサイトを獲得していただければ幸いです。