Redisで大きなリストを効率的に削除する方法

Redisで大きなオブジェクトの削除が遅くなる理由について、詳しくはこちらの概要をご覧ください。

Redisに保存された大きなリストを削除するには、以下の手順を実行します。

1. まずキーを名前空間付きの一意な名前に変更（RENAME）します。これにより、他のRedisクライアントからはリストが即座に「削除された」ように見えます。

2. 次に、リストが空になるまで要素を少しずつ小さなバッチで段階的に削除していきます。削除コマンドのサイズを制限することで、サーバーが長時間ブロックされるのを防ぎます。

なお、以下のコードはRedis接続の失敗を適切にハンドリングしていません。何らかのRedisコマンドが失敗して例外が発生した場合は、手動でクリーンアップを行う必要があります。

擬似コード

# キーの名前を変更
newkey = "gc:hashes:" + redis.INCR("gc:index")
redis.RENAME("my.list.key", newkey)

# 100件ずつバッチで要素を切り詰める
while redis.LLEN(newkey) > 0
  redis.LTRIM(newkey, 0, -99)
end

Rubyでの実装例

$redis = Redis.new

def delete_list(key)
  # キーの名前を変更
  newkey = "gc:lists:#{$redis.incr("gc:index")}"
  $redis.rename(key, newkey)

  # 100件ずつバッチで要素を切り詰める
  while $redis.llen(newkey) > 0
    $redis.ltrim(newkey, 0, -99)
  end
end

# 使用例:
#
#   delete_list("my.large.list")

Rubyのバックグラウンドジョブを使った上記処理の実装例としては、以下のようなものがあります。

• Resque
• Sidekiq

← 「Redisでの大きなオブジェクトの削除」に戻る