Redisで大きなセットを安全に削除する方法

Redisで大きなオブジェクトの削除が遅くなる理由について、まずは概要をご覧ください。

Redisで大きなセット(Set)を削除する場合、DELコマンドをそのまま実行するとサーバーが長時間ブロックされ、他のクライアントに大きな影響を与えてしまいます。そこで、以下の2段階の手順で安全に削除を行います。

削除手順の基本

1. キーの名前を変更する: 対象のキーを一意な名前空間付きの新しいキーにリネームします。これにより、他のRedisクライアントからは即座に「削除された」ように見えます。

2. メンバーを少しずつ削除する: セットのメンバーを小さなバッチ(まとまり)に分けて、セットが空になるまで段階的に削除していきます。削除コマンドのサイズを制限することで、サーバーが長時間ブロックされるのを防ぎます。

擬似コード

# キーをリネーム
newkey = "gc:hashes:" + redis.INCR("gc:index")
redis.RENAME("my.set.key", newkey)

# 100件ずつバッチでメンバーを削除
cursor = 0
loop
  cursor, members = redis.SSCAN(newkey, cursor, "COUNT", 100)
  if size of members > 0
    redis.SREM(newkey, members)
  end
  if cursor == 0
    break
  end
end

Rubyでの実装例

$redis = Redis.new

def delete_set(key)
  # キーをリネーム
  newkey = "gc:sets:#{$redis.incr("gc:index")}"
  $redis.rename(key, newkey)

  # 100件ずつバッチでメンバーを削除
  cursor = "0"
  loop do
    cursor, members = $redis.sscan(newkey, cursor, count: 100)
    $redis.srem(newkey, members) if members.size > 0
    break if cursor == "0"
  end
end

# 使用例:
#
#   delete_set("my.large.set")

バックグラウンドジョブでの実行

大規模なセットの削除処理は時間がかかる可能性があるため、バックグラウンドジョブとして実行するのがおすすめです。Rubyでは、以下のようなジョブフレームワークを使った実装例があります。

• Resque
• Sidekiq

これらのフレームワークを利用することで、アプリケーションのレスポンスに影響を与えることなく、非同期に削除処理を進められます。

← 「Redisで大きなオブジェクトを削除する」に戻る