运维知识体系

运维知识体系

运维知识体系总结,持续更新,欢迎转载。
缓存知识体系

缓存知识体系

运维知识体系之缓存,分层多级缓存体系。
DevOps学院

DevOps学院

中国新一代IT在线教育平台
我买云

我买云

企业级开源运维解决方案

LNMP(Linux+Nginx+PHP+MySQL)生产源码部署实战

赵班长 发表了文章 • 0 个评论 • 229 次浏览 • 2019-01-04 15:08 • 来自相关话题

       日常工作中,部署Nginx+PHP是非常普通的一个场景,如果有一个最佳实践,每次可以直接复制粘贴就好了。本文正是完全生产实践的方式。Nginx和PHP均推荐使用源码安装,MySQL推荐直接使用官方提供编译好的二进制文件,性能是最佳的, ...查看全部
 
     日常工作中,部署Nginx+PHP是非常普通的一个场景,如果有一个最佳实践,每次可以直接复制粘贴就好了。本文正是完全生产实践的方式。Nginx和PHP均推荐使用源码安装,MySQL推荐直接使用官方提供编译好的二进制文件,性能是最佳的,除非你可以非常专业的进行MySQL编译的定制。
 
1.源码安装Nginx
依赖软件包安装。
[root@linux-node1 ~]# rpm -ivh http://mirrors.aliyun.com/epel/epel-release-latest-7.noarch.rpm 
[root@linux-node1 ~]# yum install -y gcc glibc gcc-c++ pcre-devel openssl-devel
创建www用户,用于启动Nginx
[root@linux-node1 src]# useradd -s /sbin/nologin -M www
Nginx源码编译安装
[root@linux-node1 ~]# cd /usr/local/src
[root@linux-node1 src]# wget http://nginx.org/download/nginx-1.14.2.tar.gz
[root@linux-node1 src]# tar zxf nginx-1.14.2.tar.gz
[root@linux-node1 src]# cd nginx-1.14.2
[root@linux-node1 nginx-1.14.2]#./configure --prefix=/usr/local/nginx-1.14.2 \
--user=www --group=www \
--with-http_ssl_module --with-stream \
--with-http_stub_status_module --with-file-aio
[root@linux-node1 nginx-1.14.2]# make && make install
2.测试配置并启动Nginx
[root@linux-node1 ~]# ln -s /usr/local/nginx-1.14.2/ /usr/local/nginx
[root@linux-node1 ~]# /usr/local/nginx/sbin/nginx -t
nginx: the configuration file /usr/local/nginx-1.14.2/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx-1.14.2/conf/nginx.conf test is successful
[root@linux-node1 ~]# /usr/local/nginx/sbin/nginx
查看Nginx启动状态
[root@linux-node1 ~]# netstat –ntlp | grep 80
 
3.源码安装PHP(FPM)
首先,我们需要将PHP依赖的软件包都安装上。
[root@linux-node1 ~]# yum install -y gcc gcc-c++ glibc make autoconf \
libjpeg-turbo-devel libpng-devel mhash-devel \
freetype-devel libxml2-devel zlib-devel \
libcurl-devel openssl-devel swig libmcrypt-devel

4.下载软件包
[root@linux-node1 ~]# cd /usr/local/src
[root@linux-node1 src]# wget http://120.52.51.16/cn2.php.net/distributions/php-5.6.39.tar.gz
[root@linux-node1 src]# tar zxf php-5.6.39.tar.gz
[root@linux-node1 src]# cd php-5.6.39

5.编译软件包
[root@linux-node1 php-5.6.39]#./configure --prefix=/usr/local/php-5.6.39 --with-mysql \
--with-jpeg-dir --with-png-dir --with-curl --with-gd \
--with-zlib --enable-xml --with-libxml-dir --enable-bcmath \
--enable-sysvsem --enable-mbregex --with-openssl \
--enable-mbstring --enable-gd-native-ttf --enable-sockets \
--enable-shmop --enable-opcache --disable-debug \
--with-xmlrpc --enable-zip --enable-soap --enable-zip --enable-fpm \
--with-fpm-user=www --with-fpm-group=www --with-freetype-dir \
--with-mcrypt --with-mhash --enable-inline-optimization
[root@linux-node1 php-5.6.39]# make && make install

6.设置php配置文件和启动脚本
[root@linux-node1 php-5.6.39]# ln -s /usr/local/php-5.6.39/ /usr/local/php
[root@linux-node1 php-5.6.39]# cp php.ini-production /usr/local/php/lib/php.ini
[root@linux-node1 php-5.6.39]# cp sapi/fpm/init.d.php-fpm /etc/init.d/php-fpm
[root@linux-node1 php-5.6.39]# chmod +x /etc/init.d/php-fpm

fpm配置文件
[root@linux-node1 php-5.6.39]# cd /usr/local/php/etc/	
[root@linux-node1 etc]# cp php-fpm.conf.default php-fpm.conf
[root@linux-node1 etc]# /etc/init.d/php-fpm start
Starting php-fpm done
默认情况下php-fpm会监听在本地127.0.0.1的9000端口,你也可以调整php-fpm.conf设置为监听sock文件。
 
7.配置Nginx和PHP的连接
[root@linux-node1 ~]# cd /usr/local/nginx/conf/
[root@linux-node1 conf]# vim nginx.conf
#去掉以下内容注释并修改
location ~ \.php$ {
#root html;
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
#fastcgi_param SCRIPT_FILENAME /scripts$fastcgi_script_name;
include fastcgi.conf; #注意修改
}
重载Nginx配置
[root@linux-node1 conf]# /usr/local/nginx/sbin/nginx -t
nginx: the configuration file /usr/local/nginx-1.14.2/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx-1.14.2/conf/nginx.conf test is successful
[root@linux-node1 conf]# /usr/local/nginx/sbin/nginx -s reload

测试PHP安装
[root@linux-node1 conf]# cd /usr/local/nginx/html/
[root@linux-node1 html]# vim info.php
<?php
phpinfo();
?>

 

QQ截图20190104152228.png

 MySQL 生产部署
    mysql的安装除了yum,还可以源码编译,其实如果你没有完全掌握源码编译的优化选项,选择官方编译好的二进制版本也是不错的选择。
下载mysql二进制包
[root@linux-node1 ~]# cd /usr/local/src
# wget https://dev.mysql.com/get/Downloads/MySQL-5.6/mysql-5.6.37-linux-glibc2.12-x86_64.tar.gz
 
 
 
创建mysql用户
[root@linux-node1 ~]# groupadd mysql
[root@linux-node1 ~]# useradd -r -g mysql -s /bin/false mysql

解压mysql二进制包
[root@linux-node1 ~]# cd /usr/local/src
[root@linux-node1 src]# tar zxf mysql-5.6.37-linux-glibc2.12-x86_64.tar.gz
[root@linux-node1 src]# mv mysql-5.6.30-linux-glibc2.5-x86_64 /usr/local/
[root@linux-node1 ~]# chown -R mysql:mysql /usr/local/mysql-5.6.30-linux-glibc2.5-x86_64



初始化mysql
[root@linux-node1 ~]# ln -s /usr/local/mysql-5.6.30-linux-glibc2.5-x86_64/ /usr/local/mysql
[root@linux-node1 ~]# chown -R mysql:mysql /usr/local/mysql
[root@linux-node1 ~]# /usr/local/mysql/scripts/mysql_install_db \
--defaults-file=/usr/local/mysql/my.cnf \
--user=mysql --basedir=/usr/local/mysql/ \
--datadir=/usr/local/mysql/data

启动mysql
[root@linux-node1 src]# /usr/local/mysql/bin/mysqld_safe --defaults-file=/usr/local/mysql/my.cnf &



 
PHP安装PDO MySQL扩展
    要让PHP连接到MySQL。可以使用PDO扩展,安装PDO扩展和安装其它PHP模块的方法都是类似的,分为三个步骤:
第一步:安装PDO扩展:
[root@linux-node1 ~]# cd /usr/local/src/php-5.6.21/ext/pdo_mysql/
phpize是用来扩展php扩展模块的,通过phpize可以建立php的外挂模块
[root@linux-node1 pdo_mysql]# /usr/local/php/bin/phpize
Configuring for:
PHP Api Version: 20131106
Zend Module Api No: 20131226
Zend Extension Api No: 220131226
[root@linux-node1 pdo_mysql]# ./configure --with-php-config=/usr/local/php/bin/php-config
[root@linux-node1 pdo_mysql]# make && make install
执行完毕,最后会输出讲扩展安装到的位置,
# ls /usr/local/php-5.6.21/lib/php/extensions/no-debug-non-zts-20131226/
opcache.a opcache.so pdo_mysql.so

第二步:修改配置文件
[root@linux-node1 ~]# vim /usr/local/php/lib/php.ini
#在文件末尾添加
extension=pdo_mysql.so
第三步:重新加载PHP(FPM)
[root@linux-node1 ~]# /etc/init.d/php-fpm reload
Reload service php-fpm done
 
 使用mysqli连接数据库,所以需要给PHP安装该模块。
[root@linux-node1 pdo_mysql]# cd /usr/local/src/php-5.6.39/ext/mysqli/
[root@linux-node1 mysqli]# /usr/local/php/bin/phpize
[root@linux-node1 mysqli]# ./configure --with-php-config=/usr/local/php/bin/php-config
[root@linux-node1 mysqli]# make && make install

[root@linux-node1 mysqli]# vim /usr/local/php/lib/php.ini
#在最下面新添加一行
extension=mysqli.so
[root@linux-node1 mysqli]# /etc/init.d/php-fpm reload

 
 安装其他PHP模块均使用类似的方法。例如安装Redis、Memcached模块等。
 

真实ip地址获取问题

回复了问题 • 5 人关注 • 3 个回复 • 498 次浏览 • 2018-12-04 15:07 • 来自相关话题

Nginx 日志转为Json格式

赵班长 发表了文章 • 2 个评论 • 639 次浏览 • 2018-08-11 19:20 • 来自相关话题

在早期的版本中,有一种降低 logstash 过滤器的 CPU 负载消耗的做法盛行于社区直接输入预定义好的 JSON 数据,这样就可以省略掉 filter/grok 配置! 这个建议依然有效,不过在当前版本中需要稍微做一点配置变动 —— 因为现在有 ...查看全部
在早期的版本中,有一种降低 logstash 过滤器的 CPU 负载消耗的做法盛行于社区直接输入预定义好的 JSON 数据,这样就可以省略掉 filter/grok 配置!
这个建议依然有效,不过在当前版本中需要稍微做一点配置变动 —— 因为现在有专门的 codec 设置。
[root@linux-node1 ~]# vim /usr/local/nginx/conf/nginx.conf
log_format json '{"@timestamp":"$time_iso8601",'
'"@version":"1",'
'"client":"$remote_addr",'
'"url":"$uri",'
'"status":"$status",'
'"domain":"$host",'
'"host":"$server_addr",'
'"size":$body_bytes_sent,'
'"responsetime":$request_time,'
'"referer": "$http_referer",'
'"ua": "$http_user_agent"'
'}';
access_log logs/access_json.log json;





 

Web性能优化之-深入理解TCP Socket

运维社区编辑 发表了文章 • 0 个评论 • 2030 次浏览 • 2016-10-24 14:01 • 来自相关话题

什么是Socket?     大家都用电脑上网,当我们访问运维社区https://www.unixhot.com的时候,我们的电脑和运维社区的服务器就会创建一条Socket,我们称之为网络套接字。那么既然是网络通信,肯定是成对的。至少有一个客户端 ...查看全部
什么是Socket?
    大家都用电脑上网,当我们访问运维社区https://www.unixhot.com的时候,我们的电脑和运维社区的服务器就会创建一条Socket,我们称之为网络套接字。那么既然是网络通信,肯定是成对的。至少有一个客户端和服务端,我们称之为套接字对。
    一个套接字对(socket pair)是一个定义该网络连接的两个端点的五元组,包括:
  1. 源IP地址
  2. 源端口
  3. 目的IP地址
  4. 目的端口
  5. 类型:TCP or UDP

那么针对于HTTP请求来说,我们知道底层是建立了一条TCP的Socket,那么TCP的套接字对就是一个四元组,因为协议已经确定了:
    1.源IP地址、2.源端口、3.目的IP地址、4.目的端口。

客户端的随机端口
为了更直观的认识这个TCP Socket,我们做一个小实验,我这里准备了两台服务器:
1.jpg

    当客户端192.168.56.11访问192.168.56.12的9999端口的时候,那么会选择一个随机端口来进行通信,那么这个随机端口,到底是从什么范围随机出来了呢,端口总有一个范围不可能无穷多的。   
    那么对于TCP套接字来说客户端的一个IP地址,到底能有多少个端口呢?由于TCP协议头部使用16位来保存端口号,所以端口的个数最多为65536个,2^16=65536。

2.jpg


没错,是65536个。但是为什么我们经常看到网上说可用端口最大65535个呢,也就是2^16-1个。因为端口号是从0开始算的,0-65535那就是65536个。而0端口是保留端口,无论是TCP还是UDP都是不用使用的,当然这个是标准,那到底能不能监听端口0呢,下面我用一个python脚本,监听本地的端口0来试试。
[root@test ~]# catbind_port_zero.py 
#!/usr/bin/env python
# -*- coding: utf-8 -*-
'''本脚本监听本地的127.0.0.1的端口0,
探索端口0的奥秘'''
import socket
def bind_port_zero():
ss = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
ss.bind(('127.0.0.0', 0))
addr, port = ss.getsockname()
ss.close()
print(addr, port)
bind_port_zero()
执行脚本,看看到底能不能正常监听:
[root@test ~]# pythonbind_port_zero.py 
('127.0.0.0', 53692)

[root@test ~]# pythonbind_port_zero.py
('127.0.0.0', 59444)
可以发现,可以正常监听,但是呢并没有监听到端口0。实验证明在Linux下如果在bind的时候指定端口0,那么由系统随机选择一个可用端口来bind。

好的,我们现在知道了端口的范围0-65535,那么作为客户端访问其它服务端的时候,能用多少呢?并不是这个范围都可以用的。那么在Linux下我们可以这么获取本地的随机端口范围:
[root@test ~]# cat/proc/sys/net/ipv4/ip_local_port_range 
32768 61000
不要惊讶答案确实是32768到61000,现在你应该明白,别人说的发10万并发进行压力测试代表什么意思了吧。至少默认情况下是无法实现的,读完这句话,是否有启发呢?并不是不能实现哦。

瓶颈真的只有随机端口范围吗?

刚才我们也看了,我们访问其它服务器,作为客户端,我们要使用一个随机端口,32768-61000,貌似也不少,当然你还可以修改它,扩大随机端口范围。例如我们使用Nginx做反向代理负载均衡的时候,用户端和Nginx建立Socket进行通信,Nginx还需要和后端真实服务器也建立Socket进行通信,在高并发的场景下,这个随机端口肯定是一个瓶颈。但是真的只有随机端口范围是瓶颈吗?下面我们使用ab命令来对百度进行一次压力测试。

ab是Apache的性能测试工具,可以模拟并发进行Web性能测试。在CenotOS下,你可以这样来安装:
[root@test ~]# yuminstall -y httpd-devel
按照咱们之前的认识,随机端口61000-32768=28232,那么我实验的机器是一台刚安装的系统,没有什么网络传输,即便有,我们创建2万个套接字对应该是没问题吧。事实真的如此吗?我们用实验来证明:

我们模拟发送2万个请求,2000的并发来测试百度:
[root@test ~]#ab -n 10000 -c 2000 https://www.baidu.com/
This isApacheBench, Version 2.3 <$Revision: 1430300 $>
Copyright 1996Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to TheApache Software Foundation, http://www.apache.org/

Benchmarkingwww.baidu.com (be patient)
socket: Toomany open files (24)
这不可能,为什么报错了?不要担心,报错我们很容易看懂了socket: Too many open files (24)

,不能打开太多的文件。我们使用ulimit来看看系统资源限制。
[root@test ~]# ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 31219
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 1024
(省略部分输出)
没错,默认情况下,当前用户能够打开的文件数量最大是1024,但是这个和我们使用ab测试有什么关系呢?ab测试创建的不是socket吗?如果你不理解,那就要回归本质,想想我们刚刚学习Linux的时候,经常听到的一句Linux的思想“一切皆文件”!谁说socket不是一个文件呢?
    我相信你知道怎么做了,你可以使用ulimit –n来修改当前用户、当前session的限制,也可以修改配置文件/etc/security/limits.conf来彻底解决这个问题,这也是进行系统性能调优的必备基础。

创建一条TCP Socket

好的,刚才只是一个小插曲,我们继续探索TCP Socket,光说不练是个棒槌。我们来创建一个套接字对看看:
服务端:
首先,我们在192.168.56.12上使用nc命令,来监听9999端口。
[root@192.168.56.12 ~]#nc -l -4 -p 9999 -k 
[root@192.168.56.12 ~]#netstat -ntlp | grep 9999
tcp 0 0 0.0.0.0:9999 0.0.0.0:* LISTEN 26789/n
客户端:
在客户端,同样使用nc命令来连接到服务端的9999端口。
[root@192.168.56.11 ~]#nc 192.168.56.12 9999
好的,现在你可以在客户端上输入任何的语言和服务端愉快的聊天了?不过这不是重点。

查看Socket

我们先来看看客户端的TCPSocket。
[root@192.168.56.11 ~]#netstat -na | grep 9999
tcp 0 0 192.168.56.11:11525 192.168.56.12:9999 ESTABLISHED
服务端的TCP Socket
[root@192.168.56.12 ~]#netstat -na | grep 9999
tcp 0 0 0.0.0.0:9999 0.0.0.0:* LISTEN
tcp 0 0 192.168.56.12:9999 192.168.56.11:11525 ESTABLISHED
我相信你已经真正理解了Socket,剩下的就是无尽的想象,还记得TIME_WAIT吗?如果有大量的TIME_WAIT存在,那么这个套接字对是不释放的,不释放也就代表着占用一个,资源嘛,占用一个就少一个。怎么优化呢?且听下回分解!
    不过,如果你真的理解了Socket的概念,你已经有了一个终极解决方案。既然一个TCP Socket是一个四元组,那如果我这台机器有多个IP地址呢?哈哈,这是一句画龙点睛之语,你懂的!

使用伪终端发送数据
    最后,留一个小彩蛋,除了使用nc进行数据发送之外,其实Linux还提供了一种称之为伪设备的方式,让我们来体验下/dev下面的tcp伪设备。/dev下面提供了很多的伪设备,比如tcp就可以用来直接进行远程端口的访问。
[root@192.168.56.11 ~]# echo"886" > /dev/tcp/192.168.56.12/9999
赶紧看看服务端有没有收到886。

趁现在,关注我们         
    牛人并不可怕,可怕的是牛人比我们还努力!关注“运维社区(微信ID:cloud-oaas)”公众号,每天利用空闲时间阅读一篇技术干货,满满的小幸福。
3.jpg

 

Java进程CPU使用率高排查

赵班长 发表了文章 • 2 个评论 • 2458 次浏览 • 2016-08-14 07:43 • 来自相关话题

生产java应用,CPU使用率一直很高,经常达到100%,通过以下步骤完美解决,分享一下。 1.jps 获取Java进程的PID。 2.jstack pid >> java.txt 导出CPU占用 ...查看全部
生产java应用,CPU使用率一直很高,经常达到100%,通过以下步骤完美解决,分享一下。

1.jps 获取Java进程的PID。

2.jstack pid >> java.txt 导出CPU占用高进程的线程栈。

3.top -H -p PID 查看对应进程的哪个线程占用CPU过高。

4.echo “obase=16; PID” | bc 将线程的PID转换为16进制。

5.在第二步导出的Java.txt中查找转换成为16进制的线程PID。找到对应的线程栈。

6.分析负载高的线程栈都是什么业务操作。优化程序并处理问题。