Nginx 提供了强大的流量控制功能。限制客户端在特定时间段内的请求次数,以保护服务器资源,防止因过载而导致的性能下降甚至服务不可用。限流在防止DDoS攻击、爬虫过度抓取和滥用API等方面有着重要作用。这里将详细介绍Nginx限流的工作原理、配置方法、各种限流策略以及实际应用。
一、Nginx限流的工作原理
Nginx的限流功能主要通过limit_req
和limit_conn
模块实现:
limit_req
模块: 用于限制每秒的请求次数。该模块基于令牌桶(Token Bucket)算法,每个请求在处理前必须从令牌桶中获取一个令牌,如果没有令牌可用,则请求被延迟或拒绝。limit_conn
模块: 用于限制同时连接数。该模块控制每个特定键(如IP地址或用户)允许的最大并发连接数。
二、limit_req
模块配置
limit_req
模块通过定义共享内存区域来存储限流信息,并在特定的上下文中应用限流策略。
1. 定义共享内存区域
首先,需要定义一个共享内存区域来存储请求的计数信息。可以使用limit_req_zone
指令来完成。
语法:
limit_req_zone $variable zone=name:size rate=rate;
示例:
http {
limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;
server {
location / {
limit_req zone=one burst=5 nodelay;
proxy_pass http://backend;
}
}
}
在上面的示例中:
$binary_remote_addr
:以二进制格式表示的客户端IP地址。zone=one:10m
:定义名为one
的共享内存区域,大小为10MB。rate=1r/s
:限制每秒最多1个请求。
2. 应用限流策略
在定义共享内存区域后,可以在server
或location
上下文中使用limit_req
指令来应用限流策略。
语法:
limit_req zone=name [burst=number] [nodelay];
示例:
http {
limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;
server {
location / {
limit_req zone=one burst=5 nodelay;
proxy_pass http://backend;
}
}
}
在上面的示例中:
zone=one
:指定使用名为one
的共享内存区域。burst=5
:允许突发5个请求。nodelay
:立即处理突发请求,不进行延迟。
3. 示例配置详解
以下是一个完整的示例配置:
http {
# 定义共享内存区域
limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;
server {
listen 80;
server_name example.com;
location / {
# 应用限流策略
limit_req zone=one burst=5 nodelay;
# 代理到后端服务器
proxy_pass http://backend;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
}
}
}
在这个示例中,Nginx会限制每个客户端每秒最多发送一个请求,并允许最多5个突发请求。
三、limit_conn
模块配置
limit_conn
模块用于限制每个特定键(如IP地址或用户)的并发连接数。
1. 定义共享内存区域
首先,需要定义一个共享内存区域来存储连接计数信息。可以使用limit_conn_zone
指令来完成。
语法:
limit_conn_zone $variable zone=name:size;
示例:
http {
limit_conn_zone $binary_remote_addr zone=addr:10m;
server {
location / {
limit_conn addr 10;
proxy_pass http://backend;
}
}
}
在上面的示例中:
$binary_remote_addr
:以二进制格式表示的客户端IP地址。zone=addr:10m
:定义名为addr
的共享内存区域,大小为10MB。
2. 应用限流策略
在定义共享内存区域后,可以在server
或location
上下文中使用limit_conn
指令来应用限流策略。
语法:
limit_conn zone_name number;
示例:
http {
limit_conn_zone $binary_remote_addr zone=addr:10m;
server {
location / {
limit_conn addr 10;
proxy_pass http://backend;
}
}
}
在上面的示例中:
zone_name
:指定使用的共享内存区域名称。number
:允许的最大并发连接数。
3. 示例配置详解
以下是一个完整的示例配置:
http {
# 定义共享内存区域
limit_conn_zone $binary_remote_addr zone=addr:10m;
server {
listen 80;
server_name example.com;
location / {
# 应用限流策略
limit_conn addr 10;
# 代理到后端服务器
proxy_pass http://backend;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
}
}
}
在这个示例中,Nginx会限制每个客户端最多允许10个并发连接。
四、高级限流策略
1. 多级限流
在实际应用中,可以根据不同的需求设置多级限流策略。例如,可以根据客户端IP地址限制每秒请求数,同时根据用户ID限制每分钟请求数。
示例:
http {
limit_req_zone $binary_remote_addr zone=ip_zone:10m rate=1r/s;
limit_req_zone $cookie_userid zone=user_zone:10m rate=30r/m;
server {
location / {
limit_req zone=ip_zone burst=5 nodelay;
limit_req zone=user_zone burst=10;
proxy_pass http://backend;
}
}
}
在上面的示例中:
ip_zone
:限制每个IP地址每秒最多1个请求,允许5个突发请求。user_zone
:限制每个用户每分钟最多30个请求,允许10个突发请求。
2. 动态限流
通过Lua脚本和ngx_lua
模块,可以实现更复杂的动态限流策略。例如,可以根据用户的VIP等级动态调整限流阈值。
示例:
http {
lua_shared_dict my_limit_req_store 10m;
server {
location / {
access_by_lua_block {
local limit_req = require "resty.limit.req"
local lim, err = limit_req.new("my_limit_req_store", 200, 100)
if not lim then
ngx.log(ngx.ERR, "failed to instantiate a resty.limit.req object: ", err)
return ngx.exit(500)
end
local key = ngx.var.binary_remote_addr
local delay, err = lim:incoming(key, true)
if not delay then
if err == "rejected" then
return ngx.exit(503)
end
ngx.log(ngx.ERR, "failed to limit req: ", err)
return ngx.exit(500)
end
if delay >= 0.001 then
ngx.sleep(delay)
end
}
proxy_pass http://backend;
}
}
}
在上面的示例中,使用了OpenResty的resty.limit.req
模块,通过Lua脚本实现了动态限流策略。
五、实际应用场景
1. 防止DDoS攻击
限流可以有效地防止DDoS攻击。通过限制每个IP地址的请求频率,可以防止恶意攻击者发送大量请求导致服务器过载。
示例:
http {
limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;
server {
location / {
limit_req zone=one burst=5 nodelay;
proxy_pass http://backend;
}
}
}
2. 防止爬虫过度抓取
通过限
流,可以防止爬虫过度抓取网站内容,从而保护服务器资源。
示例:
http {
limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;
server {
location / {
limit_req zone=one burst=5 nodelay;
proxy_pass http://backend;
}
}
}
3. 保护API服务
对于API服务,限流可以防止滥用,确保API的可用性和稳定性。
示例:
http {
limit_req_zone $binary_remote_addr zone=one:10m rate=10r/m;
server {
location /api {
limit_req zone=one burst=20 nodelay;
proxy_pass http://api_backend;
}
}
}
六、限流日志和监控
为了更好地管理和监控限流策略,可以配置Nginx的日志记录限流事件,并使用监控工具进行分析。
1. 配置日志
可以通过Nginx的日志模块记录限流事件。
示例:
http {
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for" '
'$request_time $upstream_response_time $pipe';
access_log /var/log/nginx/access.log main;
limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;
server {
location / {
limit_req zone=one burst=5 nodelay;
error_log /var/log/nginx/error.log warn;
proxy_pass http://backend;
}
}
}
2. 使用监控工具
可以使用Prometheus、Grafana等监控工具来监控Nginx的限流情况。通过配置Nginx的VTS
模块,可以导出Nginx的各种统计信息,并在Grafana中进行可视化展示。