Elasticsearchクエリが遅いのはなぜですか？

2018年5月29日にObjectRocket.com/blogで最初に公開されました。

Rackspace Technologyが頻繁に受け取るElasticsearch®のサポートリクエストの1つは、「応答時間のサポートをお願いします」です。または「クエリに時間がかかります。どうすればよいですか？」

2つのアプローチ

これらのタイプの質問を受け取るときはいつでも、2つの主要な領域を調べることから始めます。

• 運用面 –現在のシステムリソースとデフォルトのElasticsearchオプションを確認します。
• 開発側 -クエリ、その構造、および検索しているデータのマッピングを確認します。

Elasticsearchの最適化に関する一連のブログ投稿の最初の記事では、これら2つの領域の後者に焦点を当てます。遅いクエリを取得し、ドメイン固有言語（DSL）クエリ言語について説明し、Elasticsearchクエリの改善に役立つオプションを検討します。

クエリはどれくらい遅いですか？

最初のステップは、クラスターにクエリを送信するのにかかる時間を確認することです。Elasticsearchのドキュメントでは、遅いログをオンにする方法が明確ではないため、この投稿でいくつかの例を示します。

まず、Elasticsearchには2つのバージョンの低速ログがあります。低速ログのインデックス作成と低速ログの検索です。解決しようとしている問題には低速クエリが含まれるため、低速ログの検索に重点を置いています。ただし、これがドキュメントのインデックス作成または追加中のパフォーマンスの問題に関するものである場合は、インデックスの遅いログを確認します。

Elasticsearchのすべてのバージョンはデフォルトで低速ログをオフにするため、クラスター設定とインデックス設定の両方をいくつか更新する必要があります。次の例ではElasticsearch 6.2を扱いますが、以前のバージョンに関する情報はここにあります。$ES_versionを次のように置き換えます。作業中のバージョン（バージョン5.5など）。

• PUTを送信します _clusterへのリクエスト オンにする低速ログのレベルを定義するAPI：警告、情報、デバッグ、トレース（ログレベルの詳細）

  curl -XPUT http：// localhost：$ ES_PORT / _cluster / settings -H‘Content-Type：application / json’ -d’

    {
  

  “transient”：{“ logger.index.search.slowlog”：“ DEBUG”、“ logger.index.indexing.slowlog”：“ DEBUG”}}'

Elasticsearchはインデックスレベルですべての低速ロギングを有効にするため、インデックスにリクエストを送信できます _settings それをオンにするAPI。インデックスを毎月、四半期ごとなどにローテーションする場合も、インデックステンプレートに追加する必要があります。

• ヒットしたい遅いログ時間のしきい値に一致するように、API呼び出しをインデックス設定に調整します。値をゼロに設定してインスタンスのプロファイルを作成し、送信されたすべてのクエリを収集するか、-1を設定して低速ログをオフにすることができます。

• _clustersettingsで使用したのと同じログレベル設定を使用します。この例では、DEBUG 。 ES_PORT 永続的な環境変数です。

  curl -XPUT http：// localhost：$ ES_PORT / * / _ settings？pretty -H'Content-Type：application / json' -d'{“ index.search.slowlog.threshold.query.debug”：“-1” 、「index.search.slowlog。 threshold.fetch.debug”：“ -1”、}’

次に、ログを収集する必要があります。低速ログはシャードごとに生成され、データノードごとに収集されます。 5つのプライマリシャード（デフォルト値）を保持するデータノードが1つしかない場合、遅いログに1つのクエリに対して5つのエントリが表示されます。 Elasticsearchでの検索は各シャード内で行われるため、シャードごとに1つ表示されます。低速ログは、データノードごとに次のデフォルトの場所に保存されます： / var / log / elasticsearch /$ClusterID_index_slowlog_queryおよび/var/ log / elasticsearch / $ ClusterID_index_slowlog_fetch ご覧のとおり、検索の遅いログは、検索のフェーズ（フェッチとクエリ）に基づいて、別々のログファイルに再び分割されます。

ログに結果が表示されたので、エントリをプルして分解できます。

[2018-05-21T12:35:53,352][DEBUG ][index.search.slowlog.query] [DwOfjJF] [blogpost-slowlogs][4] took[1s],    took_millis[0], types[], stats[], search_type[QUERY_THEN_FETCH], total_shards[5], source[{"query":{"match":{"name":    {"query":"hello world", "operator":"OR","prefix_length":0,"max_expansions":50,"fuzzy_transpositions" :true, "lenient":false,"zero_terms_query": "NONE","boost":1.0}}},"sort":[{"price": {"order":"desc"}}]}],

ここに、次のように表示されます：

• 日付のタイムスタンプ
• ログレベル
• スローログタイプ
• ノード名
• インデックス
• シャード番号
• 時間がかかりました
• クエリの本文（_source>）

時間がかかりすぎると特定したクエリを取得したら、次のツールを使用してクエリを分類できます。

_ profile API

_profile APIは、検索に関する情報のページを提供し、各シャードで発生したことを各検索コンポーネントの個々のタイミングに分類します。検索が詳細になるほど、_profile出力はより詳細になります。