只知道 Nginx 牛逼！却不知道它怎么支持百万并发？
The following article is from 民工哥技术之路 Author 点击关注👉
前段时间在网上看到一个有意思的话题：只知道 Nginx 牛逼，却不知道它怎么支持百万并发？
确实，这是一个好问题，面试常问，很多人都在这上面栽过跟头！
所以，今天我们就来一起聊一聊这个话题。
大家都知道，无论是运维、开发、测试，Nginx 技术栈的学习总是必不可少的，只是不同的岗位掌握的深度与广度不同而已。
什么是 Nginx？
Nginx 是开源、高性能、高可靠的 Web 和反向代理服务器，支持热部署，几乎可以做到 7 * 24 小时不间断运行，还可在不间断服务的情况下对软件版本进行热更新。Nginx 性能非常牛逼，占用内存少、并发能力强、能支持高并发，支持绝大部分协议，如TCP、UDP、SMTP、HTTPS等。最重要的是， Nginx 是免费开源的且可以商业化，配置使用也比较简单。
在中国有众多互联网大厂，如百度、京东、新浪、网易、腾讯等都在使用 Nginx，也有很多高知名度的国外网站也在使用 Nginx，比如：Netflix、GitHub、SoundCloud、MaxCDN等。
官方网站：http://www.nginx.org
Nginx 架构
Nginx 是如何支持百万并发？
Nginx 能够支持百万并发连接，主要通过以下几个方面来实现：
主进程与工作进程
当 Nginx 启动时，会生成主进程（master）和工作进程（worker）。
[root@nginx ~]# ps -ef|grep nginx
root 6324 1 0 09:06 ? 00:00:00 nginx: master process /usr/local/nginx-1.12.2/sbin/nginx
nobody 6325 6324 0 09:06 ? 00:00:00 nginx: worker process
root 6327 1244 0 09:06 pts/0 00:00:00 grep --color=auto nginx
主进程主要负责调度工作进程（管理 Worker 进程），并不直接处理网络请求。 工作进程（所有 Worker 进程都对等的）是实际处理网络请求及响应的进程，每个工作进程都是独立的，可同时处理数以千计的网络请求。
事件驱动模型
Nginx 的事件驱动模型由事件收集器、发送器和处理器三部分基本单元组成。
事件收集器：收集 worker 进程的各种 IO 请求 事件发送器：将 IO 事件发送到事件处理器 事件处理器：处理各种事件的响应工作
Nginx 事件驱动架构是基于异步及非阻塞的方式，这种设计允许 Nginx 同时处理多个网络请求。
当一个客户端发起请求时，Nginx 会将该请求交给一个工作进程，由工作进程负责处理请求。工作进程采用异步方式处理请求，每个请求在一个单独的工作进程中处理，这样就不会因为一个请求的阻塞而影响其他请求的处理。因些，它可以同时处理多个客户端请求，从而提高了并发处理能力。
非阻塞IO
Nginx 在处理请求时采用了非阻塞 I/O 操作，这意味着它不会在等待 I/O 操作完成时阻塞进程。通过使用非阻塞 I/O，Nginx 可以同时处理多个 I/O 操作，从而提高了整体的处理能力。
如前面的图，事件发送器会将事件放入一个类似待处理的列表中，然后采用非非阻塞 I/O 方式来调用事件处理器来处理这个请求。
这种处理模式我们又将其称为“多路复用 I/O”，最常见的有括这三种：select 模型、poll模型、epoll 模型。
内存管理
Nginx 使用了强大内存池技术来管理内存，内存池中的内存块是预先分配的，避免了频繁的内存分配和释放操作，从而减少了内存分配和释放的开销，这样可以使 Nginx 在处理大量并发连接时更加高效。
负载均衡
Nginx 可以作为反向代理服务器使用，将客户端请求转发给后端服务器处理。通过配置负载均衡策略，Nginx 可以将请求分发到多个后端服务器，进一步提高整体的处理能力，这也是它给支持百万并发的一大关键技术。
upstream server_pools {
server 192.168.1.100:8888 weight=5;
server 192.168.1.101:9999 weight=5;
server 192.168.1.102:6666 weight=5;
#weigth参数表示权值，权值越高被分配到的几率越大
}
server {
listen 80;
server_name mingongge.com;
location / {
proxy_pass http://server_pools;
}
}
Nginx 实现负载均衡的策略
轮询策略：默认情况下采用的策略，将所有客户端请求轮询分配给服务端。这种策略是可以正常工作的，但是如果其中某一台服务器压力太大，出现延迟，会影响所有分配在这台服务器下的用户。 最小连接数策略：将请求优先分配给压力较小的服务器，它可以平衡每个队列的长度，并避免向压力大的服务器添加更多的请求。 最快响应时间策略：优先分配给响应时间最短的服务器。 客户端 ip 绑定策略：来自同一个 ip 的请求永远只分配一台服务器，有效解决了动态网页存在的 session 共享问题。
缓存
Nginx 支持缓存功能，Nginx 缓存作为性能优化的一个重要手段，可以极大减轻后端服务器的负载。
我们可以通过 Nginx 配置将静态文件存储在本地磁盘上，直接提供给客户端，减少了请求后端服务器的次数，提高了性能和并发处理能力。
proxy_cache_path #代理缓存的路径
#语法格式
proxy_cache_path path [levels=levels] [use_temp_path=on|off] keys_zone=name:size [inactive=time] [max_size=size] [manager_files=number] [manager_sleep=time] [manager_threshold=time] [loader_files=number] [loader_sleep=time] [loader_threshold=time] [purger=on|off] [purger_files=number] [purger_sleep=time] [purger_threshold=time];
proxy_cache #开启或关闭代理缓存
#语法格式
proxy_cache zone | off; #zone为内存区域的名称，即上面中keys_zone设置的名称。
proxy_cache_key #定义如何生成缓存的键
#语法格式
proxy_cache_key string; #string为生成Key的规则，如proxy_host$request_uri。
proxy_cache_valid #缓存生效的状态码与过期时间。
#语法格式
proxy_cache_valid [code ...] time; #code为状态码，time为有效时间，可以根据状态码设置不同的缓存时间。如：proxy_cache_valid 200 302 30m;
proxy_cache_min_uses #设置资源被请求多少次后被缓存。
#语法格式
proxy_cache_min_uses number; #number为次数，默认为1。
proxy_cache_use_stale #当后端出现异常时，是否允许Nginx返回缓存作为响应。
#语法格式
proxy_cache_use_stale error; #error为错误类型
proxy_cache_lock #是否开启锁机制
#语法格式
proxy_cache_lock on | off;
proxy_cache_lock_timeout #配置锁超时机制，超出规定时间后会释放请求。
#语法格式
proxy_cache_lock_timeout time;
proxy_cache_methods #设置对于那些HTTP方法开启缓存。
#语法格式
proxy_cache_methods method; #method为请求方法类型，如GET、HEAD等。
proxy_no_cache #设置不存储缓存的条件，符合时不会保存。
#语法格式
proxy_no_cache string...; #string为条件，如arg_nocache $arg_comment;
proxy_cache_bypass #设置不读取缓存的条件，符合时不会从缓存中读取。
#语法格式
proxy_cache_bypass string...; #与上面proxy_no_cache的配置方法类似。
add_header #配置往响应头中添加字段信息。
#语法格式
add_header fieldName fieldValue;
$upstream_cache_status #记录了缓存是否命中的信息，存在以下多种情况：
MISS：请求未命中缓存。
HIT：请求命中缓存。
EXPIRED：请求命中缓存但缓存已过期。
STALE：请求命中了陈旧缓存。
REVALIDDATED：Nginx验证陈旧缓存依然有效。
UPDATING：命中的缓存内容陈旧，但正在更新缓存。
BYPASS：响应结果是从原始服务器获取的。
#注：这是一个Nginx内置变量，与上面的参数不同。
下面是一个配置实例
server{
location / {
# 使用名为nginx_cache的缓存空间
proxy_cache hot_cache;
# 对于200、206、304、301、302状态码的数据缓存1天
proxy_cache_valid 200 206 304 301 302 1d;
# 对于其他状态的数据缓存30分钟
proxy_cache_valid any 30m;
# 定义生成缓存键的规则（请求的url+参数作为key）
proxy_cache_key $host$uri$is_args$args;
# 资源至少被重复访问三次后再加入缓存
proxy_cache_min_uses 3;
# 出现重复请求时，只让一个去后端读数据，其他的从缓存中读取
proxy_cache_lock on;
# 上面的锁超时时间为3s，超过3s未获取数据，其他请求直接去后端
proxy_cache_lock_timeout 3s;
# 对于请求参数或cookie中声明了不缓存的数据，不再加入缓存
proxy_no_cache $cookie_nocache $arg_nocache $arg_comment;
# 在响应头中添加一个缓存是否命中的状态（便于调试）
add_header Cache-status $upstream_cache_status;
}
模块化设计
Nginx 的模块化设计使得它能够根据需求选择和加载不同的模块，以支持各种功能，如日志记录、身份验证等。这种设计灵活性高，便于扩展和维护。
Nginx 的模块主要包括核心模块、标准HTTP模块、可选HTTP模块、邮件服务模块和第三方模块等。这些模块通过事件驱动模型和非阻塞I/O等技术手段，实现了高效地处理大量的并发连接，支持百万级别的并发访问。
Nginx 这种模块化设计使得它可以根据不同的需求去加载不同的模块，从而去支持各种不同的功能，这个设计非常灵活，且便于扩展与维护。
核心模块是Nginx的基础部分，主要实现了底层的自身的一部分通讯协议，也为其他的一些模块和Nginx的进程等内容提供了一个运行时的环境。标准HTTP模块是核心中的一部分，负责定义除配置模块之外的其他模块。可选HTTP模块则提供了更多高级功能，如负载均衡、SSL加密等。邮件服务模块则与邮件相关。第三方模块则是一些由第三方提供的模块，可以扩展Nginx的功能。
总的来说，Nginx 的模块化设计是其高性能、高并发能力的关键因素之一。
代理机制
Nginx 作为反向代理服务器使用时，会接收客户端的请求并转发给后端服务器处理。通过代理机制，Nginx能够实现请求的转发、负载均衡、缓存等功能，提高了处理性能和并发能力。
http {
.............
upstream product_server{
127.0.0.1:8081;
}
upstream admin_server{
127.0.0.1:8082;
}
upstream test_server{
127.0.0.1:8083;
}
server {
#默认指向product的server
location / {
proxy_pass http://product_server;
}
location /product/{
proxy_pass http://product_server;
}
location /admin/ {
proxy_pass http://admin_server;
}
location /test/ {
proxy_pass http://test_server;
}
}
}
Nginx通过这些优秀的技术设计，然后将这些技术手段在 Nginx 中广泛应用，使得 Nginx 能够高效地处理大量的并发连接，我们在实际应用中，可以通过合理的配置 Nginx，来提高与优化其性能，进一步提高并发处理能力，从而去支持百万级别的并发访问。
注：图片均来自于网络素材，版权归原作者所有，本文只作分享技术使用。
得 Nginx 能够高效地处理大量的并发连接，我们在实际应用中，可以通过合理的配置 Nginx，来提高与优化其性能，进一步提高并发处理能力，从而去支持百万级别的并发访问。
👇🏻 点击下方阅读原文，获取鱼皮往期编程干货。
往期推荐