分布式限流最關鍵的是要將限流服務做成原子化楞捂,而解決方案可以使使用redis+lua或者nginx+lua技術進行實現僵蛛,通過這兩種技術可以實現的高并發(fā)和高性能荞驴。
首先我們來使用redis+lua實現時間窗內某個接口的請求數限流琐谤,實現了該功能后可以改造為限流總并發(fā)/請求數和限制總資源數檐蚜。Lua本身就是一種編程語言魄懂,也可以使用它實現復雜的令牌桶或漏桶算法。
如下操作因是在一個lua腳本中(相當于原子操作)闯第,又因Redis是單線程模型市栗,因此是線程安全的。
相比Redis事務來說咳短,Lua腳本有以下優(yōu)點
減少網絡開銷: 不使用 Lua 的代碼需要向 Redis 發(fā)送多次請求, 而腳本只需一次即可, 減少網絡傳輸;
原子操作: Redis 將整個腳本作為一個原子執(zhí)行, 無需擔心并發(fā), 也就無需事務;
復用: 腳本會永久保存 Redis 中, 其他客戶端可繼續(xù)使用.
Lua腳本
local key = KEYS[1] --限流KEY(一秒一個)
local limit = tonumber(ARGV[1]) --限流大小
local current = tonumber(redis.call('get', key) or "0")
if current + 1 > limit then --如果超出限流大小
return 0
else --請求數+1填帽,并設置2秒過期
redis.call("INCRBY", key,"1")
redis.call("expire", key,"2")
end
return 1
java代碼
import org.apache.commons.io.FileUtils;
import redis.clients.jedis.Jedis;
import java.io.File;
import java.io.IOException;
import java.net.URISyntaxException;
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.CountDownLatch;
public class RedisLimitRateWithLUA {
public static void main(String[] args) {
final CountDownLatch latch = new CountDownLatch(1);
for (int i = 0; i < 7; i++) {
new Thread(new Runnable() {
public void run() {
try {
latch.await();
System.out.println("請求是否被執(zhí)行:"+accquire());
} catch (Exception e) {
e.printStackTrace();
}
}
}).start();
}
latch.countDown();
}
public static boolean accquire() throws IOException, URISyntaxException {
Jedis jedis = new Jedis("127.0.0.1");
File luaFile = new File(RedisLimitRateWithLUA.class.getResource("/").toURI().getPath() + "limit.lua");
String luaScript = FileUtils.readFileToString(luaFile);
String key = "ip:" + System.currentTimeMillis()/1000; // 當前秒
String limit = "5"; // 最大限制
List<String> keys = new ArrayList<String>();
keys.add(key);
List<String> args = new ArrayList<String>();
args.add(limit);
Long result = (Long)(jedis.eval(luaScript, keys, args)); // 執(zhí)行l(wèi)ua腳本,傳入參數
return result == 1;
}
}
運行結果
請求是否被執(zhí)行:true
請求是否被執(zhí)行:true
請求是否被執(zhí)行:false
請求是否被執(zhí)行:true
請求是否被執(zhí)行:true
請求是否被執(zhí)行:true
請求是否被執(zhí)行:false
從結果可看出只有5個請求成功執(zhí)行
IP限流Lua腳本
local key = "rate.limit:" .. KEYS[1]
local limit = tonumber(ARGV[1])
local expire_time = ARGV[2]
local is_exists = redis.call("EXISTS", key)
if is_exists == 1 then
if redis.call("INCR", key) > limit then
return 0
else
return 1
end
else
redis.call("SET", key, 1)
redis.call("EXPIRE", key, expire_time)
return 1
end