TectonとRedisEnterpriseCloudを使用した高速機械学習の提供

リアルタイムの機械学習（ML）アプリケーションは、クレジットカード取引の承認から、お気に入りのストリーミングサービスのパーソナライズされた推奨事項の即時生成まで、あらゆる場所にあります。これらのアプリケーションには遅延はありません。超低遅延の推論（100ミリ秒以下）を提供するには、最新のデータにライブアクセスする必要があります。開発者と組織に大規模なMLアプリケーションの費用対効果の高いリアルタイム機能を提供するために、TectonとRedisEnterpriseCloudのファーストクラスの統合を共同で発表できることを嬉しく思います。

Redis Enterprise CloudはRedisの最高のバージョンであり、クラス最高のパフォーマンス、スケーラビリティ、費用対効果をクラウドベンダー全体に提供します。 Redisは、Stack Overflowの年次開発者調査で、5年連続で開発者から最も愛されているデータベースに選ばれています。金融サービス、eコマース、ゲーム業界で人気のあるRedisは、最も厳しいレイテンシ（サブミリ秒）と高可用性の要件を満たした実績があり、リアルタイムMLアプリケーションのニーズに対応するのに最適です。

Tectonは、MLプロジェクトの生産までの時間を短縮しようとしている企業向けの主要な機能ストアです。その基盤は、UberのすべてのMLアプリケーションに電力を供給するプラットフォームであるUberミケランジェロを構築した経験から生まれました。 Tectonは、本番MLアプリケーションのデータパイプラインと機能を運用および管理するためのシステムです。典型的な使用例には、不正検出、リアルタイムの推奨、動的な価格設定、およびパーソナライズが含まれます。

TectonのFeatureStoreがRedisEnterpriseCloudと統合されてオンラインサービスが提供されるようになったため、低レイテンシで高スループットのMLユースケースをこれまでになく簡単かつ費用対効果の高い方法で作成できます。大規模に実行しているTectonユーザーの場合、ベンチマーク分析は、RedisEnterpriseがAmazonDynamoDBよりも3倍速いレイテンシーを達成すると同時に、14倍安価であることを示しています（Tectonのブログで詳細をご覧ください）。この記事では、RedisEnterpriseとTectonがどのように連携するかについて詳しく見ていきます。

TectonとRedisの統合方法

TectonとRedisを組み合わせてリアルタイムMLを実現する場所を理解するために、不正検出などのMLユースケースを作成する手順を見てみましょう。

• まず、生データが必要です（たとえば、ユーザーのすべての履歴トランザクションと現在のトランザクションをリアルタイムで）。このデータは、企業全体のさまざまなデータウェアハウスおよびデータストリームに拡散している可能性があります。
• モデルのフィーチャを生成するには、それらのデータソースに接続し、フィーチャを生成するデータ変換を定義して実行する必要があります。たとえば、ある機能では、過去6か月間のユーザーの平均トランザクション量を調べて、現在のトランザクションと比較する場合があります。
• 最終的には、リアルタイムの予測を行うMLモデルに機能を提供する必要があります。これは、ユーザーが遅延を認識しないように、100ミリ秒未満のレイテンシで実行します。

TectonのFeatureStoreは、これらの手順を処理するように設計されており、機能変換とデータパイプラインを調整するすべての作業を抽象化して、データサイエンスチームとデータエンジニアリングチームがモデルの構築に集中できるようにします。ただし、Tectonはコンピューティングエンジンまたはデータベースではありません。代わりに、顧客がすでに使用しているインフラストラクチャの上に配置されているため、自分に合ったMLスタックを自由に構築できます。

Redis Enterprise Cloudはこれらのインフラストラクチャコンポーネントの1つであり、オンラインストアの新しい高性能オプションを顧客に提供します。 TectonのFeatureStoreで使用されています。

Tectonがオンラインストアとオフラインストアをどのように使用するか

TectonのFeatureStoreは、MLの2つの主要なアクセスパターンをサポートしています。モデルトレーニングのために数百万行の履歴データを取得することと、本番環境で実行されているモデルに機能を提供するために1行を数ミリ秒で取得することです。これらのユースケースは、パフォーマンスとコストのトレードオフの点で非常に異なるため、オフラインとオンラインの機能検索でさまざまなタイプのデータベースをサポートしています。

オフライン機能ストアの場合、TectonはS3をサポートします。これは、モデルトレーニングのニーズに対応するオフライン機能に合わせて拡張できる費用対効果の高いストレージを提供するためです。オンライン機能ストアの場合、Tectonは、DynamoDB（オンデマンドキャパシティモード）とRedisEnterpriseCloudのどちらかを柔軟に選択できるようになりました。