Redis と Lua を使用してスケーラブルな分散レート リミッターを構築する – ステップバイステップ ガイド

この包括的なガイドでは、Redis および Lua スクリプトを使用して分散レート リミッタを構築し、高トラフィック環境でのユーザー リクエストを制御します。

レート制限は、悪用を防止し、トラフィックを管理し、リソースを保護するために、どのシステムでも重要です。 Redis と Lua を活用することで、バックエンド サービスを安全に保ちながら、大量のリクエストを処理できる効率的でスケーラブルなレート制限システムを構築できます。

また、ユーザーがトラフィックをシミュレートし、適用されているレート制限を観察し、ブロックされたリクエストのログを表示できるインタラクティブなデモも含まれます。

何を学ぶか

• Redis を使用してレート制限システムを構築する方法。

• Redis で Lua スクリプトを使用してアトミックな操作を実現する方法。

• 効率的なリクエスト追跡のための Redis データ構造の理解。

• 分散システムで高トラフィックを処理するためのテクニック。

• Docker を使用して分散レート リミッターをシミュレートし、スケーリングします。

前提条件

開始する前に、以下がインストールされていることを確認してください。

• Node.js (v14 以降)

• レディス

• Docker (分散環境のシミュレーション用)

• Node.js、Redis、Lua スクリプトの基本的な理解。

目次

• 何を学ぶか

• 前提条件

• プロジェクトの概要

• ステップ 1:プロジェクトのセットアップ方法

• ステップ 2:Redis をセットアップする方法

• ステップ 3:Redis と Lua を使用してレート リミッターを実装する方法

• ステップ 4:Node.js API サーバーを作成する方法

• ステップ 5:レート リミッターをテストする方法

• ステップ 6:レート制限メトリクスを視覚化する方法

• ステップ 7:Docker を使用してデプロイする方法

• 結論:学んだこと

プロジェクトの概要

このチュートリアルでは、次のことを行います。

システム アーキテクチャ

次のコンポーネントを使用してシステムを構築します。

ステップ 1:プロジェクトの設定方法

まずは Node.js プロジェクトを設定しましょう。

mkdir distributed-rate-limiter
cd distributed-rate-limiter
npm init -y

次に、必要な依存関係をインストールします。

npm install express redis dotenv

• 急行 :軽量の Web サーバー フレームワーク。

• レディス :Redis との対話用。

• ドテンフ :環境変数の管理用。

.env を作成します。 次の内容のファイル:

REDIS_HOST=localhost
REDIS_PORT=6379
PORT=3000
RATE_LIMIT=5
TIME_WINDOW=60

これらの変数は、Redis ホスト、ポート、レート制限 (許可されるリクエストの数)、および時間枠 (秒単位) を定義します。

ステップ 2:Redis をセットアップする方法

コードに入る前に、Redis がシステムにインストールされ実行されていることを確認してください。 Redis がインストールされていない場合は、Docker を使用して簡単にセットアップできます。

docker run -p 6379:6379 --name redis-rate-limiter -d redis

ステップ 3:Redis と Lua を使用してレート リミッターを実装する方法

レート制限を効率的に処理するために、トークン バケット アルゴリズムを使用します。このアルゴリズムでは:

原子性を確保し、競合状態を回避するために、Redis で Lua スクリプトを使用します。 Redis の Lua スクリプトはアトミックに実行されます。つまり、実行中に他の操作によって中断されることはありません。

レート制限用の Lua スクリプトを作成する方法

rate_limiter.lua というファイルを作成します。 :

local key = KEYS[1]
local limit = tonumber(ARGV[1])
local window = tonumber(ARGV[2])
local current = redis.call("get", key)
if current and tonumber(current) >= limit then
 return 0
else
 if current then
 redis.call("incr", key)
 else
 redis.call("set", key, 1, "EX", window)
 end
 return 1
end

ステップ 4:Node.js API サーバーを作成する方法

server.js という名前のファイルを作成します。 :

require('dotenv').config();
const express = require('express');
const redis = require('redis');
const fs = require('fs');
const path = require('path');
const app = express();
const client = redis.createClient({
 host: process.env.REDIS_HOST,
 port: process.env.REDIS_PORT
});
const rateLimitScript = fs.readFileSync(path.join(__dirname, 'rate_limiter.lua'), 'utf8');
const RATE_LIMIT = parseInt(process.env.RATE_LIMIT);
const TIME_WINDOW = parseInt(process.env.TIME_WINDOW);
// Middleware for rate limiting
async function rateLimiter(req, res, next) {
 const ip = req.ip;
 try {
 const allowed = await client.eval(rateLimitScript, 1, ip, RATE_LIMIT, TIME_WINDOW);
 if (allowed === 1) {
 next();
 } else {
 res.status(429).json({ message: 'Too many requests. Please try again later.' });
 }
 } catch (err) {
 console.error('Error in rate limiter:', err);
 res.status(500).json({ message: 'Internal server error' });
 }
}
app.use(rateLimiter);
app.get('/', (req, res) => {
 res.send('Welcome to the Rate Limited API!');
});
const PORT = process.env.PORT;
app.listen(PORT, () => {
 console.log(`Server running on port ${PORT}`);
});

ステップ 5:レート リミッターをテストする方法

 docker start redis-rate-limiter

 node server.js

ステップ 6:レート制限メトリクスを視覚化する方法

キャッシュ ヒットやブロックされたリクエストなどのレート制限メトリクスを監視するために、server.js のミドルウェアにログを追加します。 :

async function rateLimiter(req, res, next) {
 const ip = req.ip;
 try {
 const allowed = await client.eval(rateLimitScript, 1, ip, RATE_LIMIT, TIME_WINDOW);
 if (allowed === 1) {
 console.log(`Allowed request from ${ip}`);
 next();
 } else {
 console.log(`Blocked request from ${ip}`);
 res.status(429).json({ message: 'Too many requests. Please try again later.' });
 }
 } catch (err) {
 console.error('Error in rate limiter:', err);
 res.status(500).json({ message: 'Internal server error' });
 }
}

ステップ 7:Docker を使用してデプロイする方法

アプリケーションをコンテナ化して分散環境で実行しましょう。

Dockerfile を作成します :

FROM node:14
WORKDIR /app
COPY . .
RUN npm install
EXPOSE 3000
CMD ["node", "server.js"]

Docker コンテナを構築して実行します。

docker build -t rate-limiter .
docker run -p 3000:3000 rate-limiter

複数のインスタンスを実行することで、レート リミッターをスケールできるようになりました。

結論:学んだこと

おめでとうございます！ Redis および Lua スクリプトを使用して分散レート リミッターを正常に構築しました。このチュートリアルを通じて、次の方法を学習しました。

次のステップ:

コーディングを楽しんでください!

無料でコーディングを学びましょう。 freeCodeCamp のオープンソース カリキュラムは、40,000 人以上の人々が開発者としての職に就くのに役立ちました。始めましょう