运用Nginx提升数据服务器效率 (nginx 数据服务器)

随着互联网技术的飞速发展,数据的存储和处理成为用户重要需求之一。在实现高效数据传输和处理的过程中,服务器的效率显得尤为重要。因此,为了满足用户需求,提升服务器效率,开发人员需要寻找更好的Server软件以提高数据的处理速度,从而更好的满足用户需求,这时候Nginx就具备非常不错的优势。

Nginx是一个高性能,基于事件驱动的Web服务器,也是一个反向代理服务器。和传统的服务器不同,Nginx的特点在于它能够支持15万个并发连接,其中有8000个是真正的并发连接。事实上,Nginx是一款轻量级的、为解决C10K问题而开发出来的高性能Web服务器,它是由伊戈尔·赛索耶夫创建的。因其在高并发以及负载均衡上具有比较好的效果而被广泛应用于企业网站、网游等高访问量的Web服务器架构。

在企业中,使用Nginx作为Web服务器主要有以下三个方面的考虑:

1. 静态资源的解决

在一个网站大量的静态资源,如CSS、、图片等都存在Web服务器中,这样会导致Web服务器频繁地访问硬盘,降低了服务器的处理速度。因此,采用Nginx作为Web服务器和负载均衡服务器,可以通过其协调将静态资源都放到Nginx中,减轻Web服务器的压力,提高服务器效率。

2. 动态应用程序的缓存

在Web服务器上运行的Web应用程序必须将数据返回给客户端,经常需要动态生成,这不可避免地会降低服务器的性能。使用Nginx可以在其进行缓存,同时将动态生成的内容保存在缓存中。这样可以减轻Web服务器的压力,并顺利地满足大量用户的请求,从而提高服务器的效率。

3. 平衡载荷

平衡负载可以使每个Web服务器平均地承担压力,防止某台服务器暴发出现压力过大。当负载均衡任务被宣布时,Nginx是最强大和稳健的选择之一。它能够接受一个负载均衡器,并将流量发送到多个Web服务器中,从而将压力均衡到各个服务器中,确保每台服务器都不会受到大量访问量的影响,从而更加优秀地满足用户需求。

在使用Nginx作为Web服务器时,我们需要注意以下几个问题:

1. 成本问题

虽然Nginx是一款免费软件,但在实际运用中,我们也需要考虑维护问题。Nginx可能会需要使用到高昂的网络硬件设备,而管理这些设备时间和成本方面是也需要考虑到的。对于一些小型企业来说,选择Nginx作为Web服务器时,需要根据实际情况来评估成本。

2. 系统兼容

Nginx能够运行在Linux、FreeBSD、Solaris和MAC OS X操作系统中,但并不支持Windows操作系统。因此,在进行Nginx服务器的搭建时,需要确保所选用的操作系统与Nginx服务器的要求相符。

3. 配置问题

Nginx配置文件比较复杂,一些配置参数需要开发人员深入了解后才能进行合理的配置。此外,在配置过程中也需要确保安全性,防范恶意攻击,避免安全漏洞。

总之使用Nginx作为Web服务器可以有效地提升服务器效率,减轻Web服务器的负担,从而更好地满足大量用户的需求。同时,在使用Nginx的过程中,我们需要注意成本、系统兼容性以及配置问题。

相关问题拓展阅读:

nginx基本配置(参考)

Nginx是一款自由的、开源的、高性能的HTTP服务器和反向代理服务器;同时也是一个IMAP、POP3、TP代理服务器;Nginx可以作为一个HTTP服务器进行网站的发布处理,另外Nginx可以作为反向代理进行负载均衡的实现。

1、全局块:配置影响nginx全局的指令。一般有运行nginx服务器的用户组,nginx进程pid存放路径,日志存放路径,配置文件引入,允许生成worker process数等。

2、events块:配置影响nginx服务器或与用户的网络连接。有每个进程的更大连接数,选取哪种事件驱动模型处理连接请求,是否允许同时接受多个网路连接,开启多个网络连接序列化等。

3、http块:可以嵌套多个server,配置代理,缓存,日志定义等绝大多数功能和第三方模块的配置。如文件引入,mime-type定义,日志自定义,是否使用sendfile传输文件,连接超时时间,单连接请求数等。

4、server块:配置虚拟主机的相关参数,一个http中可以有多个server。

5、location块:配置请求的路由,以及各种页面的处理情况。

6、缓存控制字段cache-control的配置说明 (

)

HTTP协议的Cache -Control指定请求和响应遵循的缓存机制。在请求消息或响应消息中设置 Cache-Control并不会影响另一个消息处理过程中的缓存处理过程。

请求时的缓存指令包括: no-cache、no-store、max-age、 max-stale、min-fresh、only-if-cached等。

响应消息中的指令包括: public、private、no-cache、no- store、no-transform、must-revalidate、proxy-revalidate、max-age。

no-cache: 数据内容不能被缓存, 每次请求都重新访问服务器, 若有max-age, 则缓存期间不访问服务器.

no-store: 不仅不能缓存, 连暂存也不可以(即: 临时文件夹中不能暂存该资源).

private(默认): 只能在浏览器中缓存, 只有在之一次请求的时候才访问服务器, 若有max-age, 则缓存期间不访问服务器.

public: 可以被任何缓存区缓存, 如: 浏览器、服务器、代理服务器等.

max-age: 相对过期时间, 即以秒为单位的缓存时间.

no-cache, private: 打开新窗口时候重新访问服务器, 若设置max-age, 则缓存期间不访问服务器.

设置以分钟为单位的绝对过期时间, 优先级比Cache-Control低, 同时设置Expires和Cache-Control则后者生效. 也就是说要注意一点: Cache-Control的优先级高于Expires

expires起到控制页面缓存的作用,合理配置expires可以减少很多服务器的请求, expires的配置可以在http段中或者server段中或者location段中. 比如控制图片等过期时间为30天

客户端必须设置正向代理服务器,当然前提是要知道正向代理服务器的IP地址,还有代理程序的端口。

“它代理的是客户端,代客户端发出请求”,是一个位于客户端和原始服务器(origin server)之间的服务器,为了从原始服务器取得内容,客户端向代理发送一个请求并指定目标(原始服务器),然后代理向原始服务器转交请求并将获得的内容返回给客户端。客户端必须要进行一些特别的设置才能使用正向代理。

正向代理的用途:

(1)访问原来无法访问的资源,如Google

(2) 可以做缓存,加速访问资源

(3)对客户端访问授权,上网进行认证

(4)代理可以记录用户访问记录(上网行为管理),对外隐藏用户信息

多个客户端给服务器发送的请求,Nginx服务器接收到之后,按照一定的规则分发给了后端的业务处理服务器进行处理了。此时~请求的来源也就是客户端是明确的,但是请求具体由哪台服务器处理的并不明确了,Nginx扮演的就是一个反向代理角色。

客户端是无感知代理的存在的,反向代理对外都是透明的,访问者并不知道自己访问的是一个代理。因为客户端不需要任何配置就可以访问。

反向代理,”它代理的是服务端,代服务端接收请求”,主要用于服务器集群分布式部署的情况下,反向代理隐藏了服务器的信息。

反向代理的作用:

(1)保证内网的安全,通常将反向代理作为公网访问地址,Web服务器是内网

(2)负载均衡,通过反向代理服务器来优化网站的负载

Nginx服务器错误是什么原因?

Nginx服务器错误一般有以下几点原因:

1、请求的header过大。nginx默认的header长度上限是4k,如果超过了这个值,nginx会直接返回400错误.

解决方法:配置nginx.conf相关设置。可以通过以下2个参数来调整header上限:

client_header_buffer_size 16k;large_client_header_buffers 4 16k。

2、上传文件过程中出现错误。这时浏览器显示“413 Request Entity Too Large”。这是因为没有设置client_max_body_size,这个参数默认只是1M,也就是说发布的文章内容大小不能超过1M。

解决方法:增加如下两行到nginx.conf的http{}段, 增大nginx上传文件大小限制:设置允许发布内容为8M:client_max_body_size 8M;client_body_buffer_size 128k。

另外如果运行的是php,那么还要检查php.ini,这个大小client_max_body_size要和php.ini中的如下值的更大值一致或者稍大,这样就不会因为提交数据大小不一致出现的错误:post_max_size = 8M;upload_max_filesize = 6M。

修改完配置后,别忘昌缺记重新加载。

3、客户端在为等到服务器相应返回前就关闭了客户端描述符。一般出现在客户端设置超时后,服务器主动关闭。

解决方法:根据实际Nginx后端服务器的处理时间修改客户端超时时间。

4、脚本错误(php语法错误、lua语法错误)。

解决方法:查看nginx_err_log php_err_log。

5、访问量过大,系统资源耐渗辩限制,不能打开过多文件。 磁盘空间不足。(access log开启可能导致磁盘满溢,服务器主动关闭)。

解决方法:修改/etc/sysctl.conf文件,并使用下面的命令确认: #sysctl -p。要使 limits.conf 文件配置生效,必须要确保 pam_limits.so 文件被加入到启动文件中。

6、后端服务无法处理,业务中断。

解决方法:从后端喊散日志获取错误原因,解决后端服务器问题。

7、后端服务器在超时时间内,未响应Nginx代理请求。

解决方法:根据后端服务器实际处理情况,调正后端请求超时时间。

8、网站页面缓存过大。

解决方法:配置nginx.conf相关设置:fastcgi_buffers 8 128k;send_timeout 60。

Nginx相关知识点

Nginx是lgor Sysoev为俄罗斯访问量第二的rambler.ru站点设计开发的。从2023年发布至今,凭借开源的力量,已经接近成熟与完善。

Nginx功能丰富,可作为HTTP服务器,也可作为反向代理服务器,邮件服务器。支持FastCGI、SSL、Virtual Host、URL Rewrite、Gzip等功能。并且支持很多第三方的模块扩展。

Nginx的稳定性、功能集、示例配置文件和低系统资源的消耗让他后来居上,在全球活跃的网站中有12.18%的使用比率,大约为2220万个网站。

自行安装

正向代理:

代理服务器站在客户端那边就是正向代理;

反向代理:

代理服务器站在原始服务器那边就是反向代理;

详解参考点击 Nginx正向代理与反向代理

Nginx在做反向代理时,提供性能稳定,并且能够提供配置灵活的转发功能。

Nginx可以根据不同的正则匹配,采取不同的转发策略,比如图片文件结尾的走文件服务器,动态页面走web服务器,只要你正则写的没问题,又有相对应的服务器解决方案,你就可以随心所欲的玩。

并且Nginx对返回结果进行错误页跳转,异常判断等。如果被分发的服务器存在异常,他可以将请求重新转发给另外一台服务器,然后自动去除异常服务器。

如果你的nginx服务器给2台web服务器做代理,负载均衡算法采用轮询,那么当你的一台机器web程序iis关闭,也就是说web不能访问,那么nginx服务器分发请求还是会给这台不能访问的web服务器,如果这里的响应连接时间过长,就会导致客户端的页面一直在等待响应,对用户来说体验就打打折扣,这里我们怎么避免这样的情况发生呢。这里我配张图来说明下问题。

如果负载均衡中其中web2发生这样的情况,nginx首先会去web1请求,但是nginx在配置不当的情况下会继续分发请求道web2,然后等待web2响应,直到我们的响应时间超时,才会把请求重新分发给web1,这里的响应时间如果过长,用户等待的时间就会越长。

下面的配置是解决方案之一:

如果使用upstream指令配置了一组服务器作为被代理服务器,服务器中的访问算法遵循配置的负载均衡规则,同时可以使用该指令配置在发生哪些异常情况时,将请求顺次交由下一组服务器处理。

状态值可以是:error|timeout|invalid_header|http_500|http_502|http_503|http_504|http_404|off

Nginx提供的负载均衡策略有2种:内置策略和扩展策略。

内置策略:

1.轮询;2.加权轮询;3.Ip hash;

扩展策略:

就天马行空,只有你想不到的没有他做不到的啦,你可以参照所有的负载均衡算法,给他一一找出来做下实现。

Ip hash算法,对客户端请求的ip进行hash操作,然后根据hash结果将同一个客户端ip的请求分发给同一台服务器进行处理,可以解决session不共享的问题。

eg:

开启简单的缓存配置,只需要两个指令:proxy_cache_path和proxy_cache。

proxy_cache_path: 配置缓存的存放地址和其他的一些常用配置;

proxy_cache:指令是为了启动缓存;

相关配置说明:

该指令用于定义满足条件的响应不会被保存到缓存中。在条件字符串中至少有一个条件不为空或者0,符合这样条件的响应才不会被缓存。

举例如下

其中,cookie_nocache、arg_nocache…皆为变量,可以根据你访问的匹配策略来设置,其值只有2类,0和非0;

访问匹配策略例如:

如果在此链式配置中,只要有一个值不为0,则不会cache;例如:

则不会被cache.

注:一般会配合proxy_cache_bypass共同使用;

该指令用于定义哪些情况不从cache读取,直接从backend获取资源;配置方式同proxy_no_cache。

给缓存数据定义一个键,例如

该指令用于设置缓存哪些HTTP方法,默认缓存HTTP GET/HEAD方法,不缓存HTTP POST 方法.。

设置不同响应码的缓存时间,当不指定响应码的时候,例如

只对响应码为200,301,302的访问请求资源设置缓存时间,此外可以个性化定制,例如:

此外,还可以在相应header里设置优先级更高的缓存有效时间:

不缓存包含在field的响应header,可以设置的值有:“X-Accel-Redirect”, “X-Accel-Expires”, “X-Accel-Limit-Rate”,“X-Accel-Buffering”, “X-Accel-Charset”, “Expires”, “Cache-Control”, “Set-Cookie” (0.8.44), and “Vary”。

如果上述的header field没有设置为忽略,则header filed中有“X-Accel-Expires”, “Expires”, “Cache-Control”, “Set-Cookie”, and “Vary”的话,响应会被缓存。

该指令用于设置缓存的最小使用次数,默认值为1

源站有问题时,nginx可以通过proxy_cache_use_stale指令开启容错能力,即使用缓存内容来响应客户端的请求。举例如下:

如上配置表示,当作为cache的NGINX收到源站返回error、timeout或者其他指定的5XX错误,并且在其缓存中有请求文件的陈旧版本,则会将这些陈旧版本的文件而不是错误信息发送给客户端。

使用NGINX,不需要建立一个RAID(磁盘阵列)。如果有多个硬盘,NGINX可以用来在多个硬盘之间分割缓存。举例如下:

在这份配置中,使用了3个独立的缓存,每个缓存专用一块硬盘,另外,3个独立的线程池也各自专用一块硬盘。

缓存之间(其结果就是磁盘之间)的负载均衡使用split_clients模块,split_clients非常适用于这个任务。

在 proxy_cache_path指令中设置

use_temp_path=off

,表示NGINX会将临时文件保存在缓存数据的同一目录中。这是为了避免在更新缓存时,磁盘之间互相复制响应数据。

通过访问日志,你可以得到用户地域来源、跳转来源、使用终端、某个URL访问量等相关信息;

通过错误日志,你可以得到系统某个服务或server的性能瓶颈等。

因此,将日志好好利用,你可以得到很多有价值的信息。

打开nginx.conf配置文件:vim /usr/local/nginx/conf/nginx.conf

日志部分内容:

#access_log logs/access.log main;

日志生成的到Nginx根目录logs/access.log文件,默认使用“main”日志格式,也可以自定义格式。

默认“main”日志格式:

参数明细表:

查看日志命令tail -f /usr/local/nginx/logs/access.log

打开nginx.conf配置文件去掉#注释见下图:

自定义某一个server配置的日志,使用“main”日志格式。

日志生成的到Nginx根目录logs/access.log文件,默认使用“main”日志格式,也可以自定义格式。

重新读取加载Nginx配置文件:

执行命令:nginx-s reload

网上一位老师写的log文件分解的脚本

此脚本执行时间根据自己公司情况来定,可以设置默认一天执行一次;

创建crontab设置作业

设置日志文件存放目录crontab -e

*/1 * * * * sh /usr/local/software/nginx/nginx_log.sh

此设置的为一分钟,如果设置一天自行修改;

默认的 nginx 配置文件 nginx.conf 内容如下

示例

几个常见配置项:

注意:

惊群现象:一个网路连接到来,多个睡眠的进程被同事叫醒,但只有一个进程能获得链接,这样会影响系统性能

每个指令必须有分号结束。

进入安装目录下的in

关于nginx 数据服务器的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。


数据运维技术 » 运用Nginx提升数据服务器效率 (nginx 数据服务器)