Amazon Redshift：クエリパフォーマンスを最適化するためのベストプラクティス

Amazon Redshiftを掘り下げる前に、データレイクとウェアハウスの違いを理解することが重要です。 Amazon S3のようなデータレイクは、データを変更することなく、あらゆる規模で多くのソースからの構造化データと非構造化データを格納する集中型データリポジトリです。一方、データウェアハウスは、継続的な分析を実行するために最適化された調整済みの状態でデータを格納します。データレイクからの分析に必要なデータのみをロードします。

Amazon Redshiftは、データ分析用のストレージをさらに1レベル増やし、データレイクとウェアハウスの品質を「レイクハウス」アプローチに統合します。費用対効果を維持し、データの冗長性を最小限に抑え、メンテナンスのオーバーヘッドと運用コストを最小限に抑えながら、大規模なエクサバイト規模のデータレイクのクエリを可能にします。

AmazonRedshiftアーキテクチャ

ビッグデータセットで複雑なクエリを迅速に処理するために、Amazon Redshiftアーキテクチャは、同時処理のためにジョブを多くの計算ノードに分散する超並列処理（MPP）をサポートしています。

これらのノードはクラスターにグループ化され、各クラスターは3つのタイプのノードで構成されます。

• リーダーノード ：これらは接続を管理し、SQLエンドポイントとして機能し、並列SQL処理を調整します。

• 計算ノード ：スライスで構成 、これらは、列形式および1MBの不変ブロックに格納されたデータに対して並列にクエリを実行します。 Amazon Redshiftクラスターには、1〜128の計算ノードを含めることができ、テーブルデータを含み、ローカル処理ゾーンとして機能するスライスに分割されます。

• AmazonRedshiftスペクトラムノード ：これらは、AmazonS3データレイクに対してクエリを実行します。

クエリパフォーマンスの最適化

クラスタ内のデータの物理的なレイアウトをクエリパターンと一致させることで、最適なクエリパフォーマンスを引き出すことができます。 Amazon Redshiftが最適に機能していない場合は、ワークロード管理の再構成を検討してください。

ワークロード管理（WLM）を再構成します

多くの場合、デフォルト設定のままにしておくと、WLMを調整するとパフォーマンスが向上します。このタスクを自動化するか、手動で実行できます。自動化された場合、Amazon Redshiftは、クラスターリソースの使用量に基づいてメモリ使用量と同時実行性を管理します。これにより、8つの優先度指定キューを設定できます。手動で行うと、同時クエリの数、メモリ割り当て、およびターゲットを調整できます。

次のWLM構成パラメーターを使用して、クエリのパフォーマンスを最適化することもできます。

• クエリの監視 ルールは、高額なクエリや暴走したクエリの管理に役立ちます。

• 短いクエリ アクセラレーションは、機械学習アルゴリズムを使用してクエリの実行時間を予測することにより、実行時間の長いクエリよりも実行時間の短いクエリを優先するのに役立ちます。

• 同時実行スケーリング 複数の一時クラスターを数秒で追加して、同時読み取りクエリを高速化するのに役立ちます。

WLMのベストプラクティス

WLMチューニングのベストプラクティスには次のものがあります。

• さまざまなタイプのワークロードに対してさまざまなWLMクエリを作成します。
• スループットを最大化するために、メインクラスターの最大同時実行数を15以下に制限します。
• 同時実行スケーリングの有効化。
• キュー内のリソースの数を最小限に抑えます。

データ配布の調整

テーブルの行は、次の分散スタイルに基づいて、AmazonRedshiftによってノードスライス全体に自動的に分散されます。

• AUTO ：ALLで始まり、テーブルが大きくなるにつれてEVENに切り替わります。
• すべて ：各計算ノードの最初のスライスに配置された、小さく、頻繁に結合され、頻繁に変更されないテーブルで構成されます。
• EVEN ：スライス全体のラウンドロビン分散で頻繁に結合または集約されない、大規模なスタンドアロンのファクトテーブルで構成されます。
• キー ：頻繁に結合されるファクトテーブルまたはラージディメンションテーブルで構成されます。このスタイルでは、列の値がハッシュされ、同じハッシュ値が同じスライスに配置されます。

適切な分散パターンを使用すると、 JOINのパフォーマンスを最大化できます 、 GROUP BY 、および INSERT INTO SELECT 操作。

データの並べ替えを調整する

ソートキーは、ディスク上のデータの物理的な順序を定義します。 WHEREで使用されるテーブル列 句の述語は並べ替えキーに適しています。通常、日付または時刻に関連する列を使用します。メモリに保存され、自動的に生成されるゾーンマップを使用して、データの各ブロックの極値を定義します。並べ替えキーとゾーンマップを効果的に併用すると、次のことが可能になります。スキャンを必要最小限のブロック数に制限します。

次の図は、テーブルの並べ替えが時間ベースのクエリのスキャンターゲットに焦点を合わせ、それによってクエリのパフォーマンスを向上させる方法を示しています。

最適なクエリパフォーマンスのベストプラクティス

前述のAmazonRedshiftの変更を使用すると、クエリのパフォーマンスが向上し、コストとリソース効率が向上します。パフォーマンスをさらに向上させるために実装できるその他のベストプラクティスは次のとおりです。

• SORTを使用する WHEREでよく使用される列のキー 句フィルター。
• DISTKEYを使用する JOINでよく使用される列 述語。
• 最初のソートキー列を除くすべての列を圧縮します。
• アクセスパターンなどのクエリフィルタに基づくデータレイク内のパーティションデータ 。

さらにいくつかのベストプラクティスを探るには、Amazon Redshiftの変更を詳しく調べ、詳細なクエリ分析の例を参照して、AWSパートナーネットワーク（APN）ブログを読んでください。

データジャーニーに着手していて、AWSサービスを活用してデータプラットフォームを迅速、確実、かつ費用効果の高い方法で開発したい場合は、今すぐデータエンジニアリング＆アナリティクスチームにお問い合わせください。

Onicaサービスの詳細をご覧ください。

コメントや質問をするには、[フィードバック]タブを使用します。 セールスチャットをクリックすることもできます 今すぐチャットして会話を始めましょう。