カスタムメトリックでキャッシュヒットを追跡し、DBクエリ急増の原因を特定する

AppSignalを利用するアプリケーションが動作しているすべてのサーバーは、30秒ごとにサンプルとメトリクスのコレクションをPush APIへ送信しています。

各リクエストにはキーが付与されており、このキーをもとに、そのデータがどのアプリケーションから送られてきたものかを判別します。そのためには、受信したリクエストごとにデータベースへ問い合わせて該当するアプリを検索する必要があります。月間300億件という膨大なリクエストを処理する私たちは、AppSignalをより高速に動作させるため、クエリ数をいかに減らすかを常に模索しています。

キャッシュ導入後に逆にクエリが増加した問題

そこで私たちは、データベースクラスタへのクエリ数を削減するためにキャッシュを実装しました。データベースからアプリを取得するたびに、その結果をMemcachedに1分間保存する仕組みです。

しかし、この変更を本番環境にデプロイしてみると、クエリ数はむしろ以前より増えていることが判明しました。どうやらキャッシュが必要以上の頻度で無効化されているようです。原因を突き止めるため、どこでキャッシュが不適切に無効化されているのかを調査できるカスタムメトリックを追加することにしました。

キャッシュが無効化される箇所

キャッシュを無効化する箇所はいくつかあります。たとえば、push処理の時刻が更新されたときや、新しいnamespace（名前空間）を検出したときなどです。

# 最終push処理時刻を更新
if app.last_push_processed_at < 5.minutes.ago
  app.set(:last_push_processed_at => Time.now)
  Rails.cache.delete(cache_key)
end
 
if namespaces_diff.any?
  app.add_to_set(:namespaces => namespaces_diff)
  Rails.cache.delete(cache_key)
end

カスタムメトリックによる原因の切り分け

どの無効化処理が犯人なのかを特定するために、複数のカウンターを追加しました。以下の例では、app.cache.invalidateカウンターで無効化の総数をカウントしつつ、個別の無効化にはapp.cache.invalidate_push_timeやapp.cache.invalidate_namespacesといった専用のキーを使って計測しています。

# 最終push処理時刻を更新
if app.last_push_processed_at < 5.minutes.ago
  app.set(:last_push_processed_at => Time.now)
  Rails.cache.delete(cache_key)
  Appsignal.increment_counter('app.cache.invalidate', 1)
  Appsignal.increment_counter('app.cache.invalidate_push_time', 1)
end
 
if namespaces_diff.any?
  app.add_to_set(:namespaces => namespaces_diff)
  Rails.cache.delete(cache_key)
  Appsignal.increment_counter('app.cache.invalidate', 1)
  Appsignal.increment_counter('app.cache.invalidate_namespaces', 1)
end

これらのカスタムメトリックを追加したことで、時間経過に沿ったキャッシュヒット状況をグラフ化できるようになりました。すると、どのキャッシュキーがクエリ増加の引き金になっているのかが一目瞭然でした。app.cache.invalidate_namespacesキーが、リクエストごとに毎回無効化されていたのです。

なお、キャッシュ可能なリクエストの総数はapp.cache.maybeとしてカウントしています。

修正後の結果

この問題に対する修正をデプロイしたところ、アプリのnamespaceが更新されない限り、無効化の回数はゼロまで減少しました。

カスタムメトリックを活用すれば、「何が・いつ・どこで・どのくらいの頻度で」起きているのかを把握しやすくなります。今回のケースでは、キャッシュ無効化の回数を読みやすいグラフとして可視化できたおかげで、問題を素早く発見することができました。必要なのは、特定の値をインクリメントする数行のコードと、ダッシュボードを作成する作業だけです。

カスタムメトリックについてご不明な点がある場合や、アプリケーションへの導入でお手伝いできることがあれば、ぜひお気軽にお問い合わせください。喜んでサポートいたします！