为了账号安全，请及时绑定邮箱和手机立即绑定
首页 手记 关于FastDFS蛋疼的集群和负载均衡(六)之Ngin...

关于FastDFS蛋疼的集群和负载均衡(六)之Nginx高可用集群

标签：
Java Linux

diary_report.jpg

Interesting things

接着上一篇。

What did you do today

Keepalived是一个高性能的服务器高可用解决方案，Keepalived主要防止服务器单点故障的发生问题，可以通过Nginx的配合实现web服务端的高可用。

  • 还记得我们空出来的192.168.12.77和192.168.12.88吗？这2台设备就是用来配置nginx的集群和高可用。我们可以虚拟出来一个192.168.12.XX，外界请求访问虚拟ip而不是真正的Nginx。

  • 那什么是高可用呢？

    高可用是指同一时间提供服务的只有一台设备，主服务器挂掉后，备用服务器便开始提供服务。

  • 老操作, yum install pcre、yum install pcre-devel、yum install zlib、yum install zlib-devel、yum install openssl、openssl-devel(openssl 现在我可能还用不上)为什么要安装这些？我前几篇博客没有讲，现在来讲讲。

    nginx的http模块使用pcre来解析正则表达式
    pcre-devel是使用pcre开发的一个二次库，nginx也需要。
    zlib提供了很多种压缩的方式，nginx使用zlib对http包的内容进行gzip
    nginx支持https，所以需要安装openssl库。

  • 下载keepalived-1.2.18.tar.gz

  • 把keepalived-1.2.18.tar.gz拷贝到/usr/local/software/目录下

  • 解压keepalived-1.2.18.tar.gz到/usr/local/，命令:tar -zxvf keepalived-1.2.18.tar.gz -C /usr/local/
    image.png

  • 进入/usr/local/keepalived-1.2.18/,进行配置检查。命令：./configure --prefix=/usr/local/keepalived
    image.png

  • 老操作编译安装，make && make install

  • 创建/etc/keepalived目录，我们需要把keepalived做成一个服务，这样可以开机自行启动。
    image.png

  • 进入/usr/local/keepalived/etc/keepalived/，将keepalived.conf拷贝到/etc/keepalived/目录下。
    image.png
    image.png

  • 进入/usr/local/keepalived/etc/rc.d/init.d/目录下，将keepalived拷贝到/etc/init.d/目录下
    image.png

  • 进入/usr/local/keepalived/etc/sysconfig目录下，将keepalived拷贝到/etc/sysconfig/目录下。

  • 创建第一个软链接，ln -s /usr/local/keepalived/sbin/keepalived /usr/sbin/

  • 设置为keepalived开机启动，chkconfig keepalived on

  • 开启keepalived服务, service keepalived start.
    image.png

  • 现在192.168.12.77修改/etc/keepalived/keepalived.conf文件。修改后的配置内容如下：

    ! Configuration File for keepalived
    global_defs {
             router_id nginx_cx_7_no_1
    }

    vrrp_script chk_nginx {
            script "/etc/keepalived/nginx_check.sh"
            interval 2
            weight -20
    }

    vrrp_instance VI_1 {
    }

    vrrp_instance VI_1 {
            state MASTER
            interface eth0
            virtual_router_id 77
            mcast_src_ip 192.168.12.77
            priority 100
            nopreempt
            advert_int 1

            authentication {
                    auth_type PASS
                    auth_pass 1111
            }

            track_script {
                    chk_nginx
            }

            virtual_ipaddress {
                    192.168.12.111
            }
    }

  • 下面我们就具体的讲讲配置内容。
    1.global_defs代表配置中的主机名，我就把192.168.12.77设置为nginx_cx_7_no_1把，所以router_id的值为nginx_cx_7_no_1

    global_defs {
    router_id nginx1
    }

    2.每隔2s去执行/etc/keepalived/nginx_check.sh脚本，这一项检查从开始便一直进行，interval表示间隔时间，weight -20代表脚本执行成功后192.168.12.77这个节点的优先级降低20.
    vrrp_script chk_nginx {
    script "/etc/keepalived/nginx_check.sh"
    interval 2
    weight -20
    }
    3.state MASTER表示该节点角色为master，interface eth0表示设备的网卡是eth0，virtual_router_id 77是取自当前设备的ip也就是192.168.12.77的后两位。mcast_src_ip 192.168.12.7指定当前设备的ip，priority 100代表优先级是100，优先级在keepalived实现高可用方面超级重要。keepalived是根据优先级来选择当前提供服务的设备。

    1. 我们这里用192.168.12.77指A设备，用192.168.12.88指B设备。假设A设备的优先级是100，B设备的优先级是90，那么keepalived服务器一开始去检查优先级，发现A设备的优先级很高，于是让A设备当大哥，让它去提供服务。当A设备的nginx挂了后，由于nginx_check脚本每2秒执行一次，发现A设备没有nginx进程后，先会尝试重新启动nginx，如果重新启动还是不行，这就很皮了！然后大发雷霆，就会杀掉所有的keepalived进程。然后回调给keepalived服务器，告知大哥的nginx挂掉了。keepalived服务器得知后，会把A设备的优先级减20，从而A设备的优先级为80。这样下次keepalived来检查优先级时，B设备的优先级比A设备搞，那么B设备就可以对外提供服务。美滋滋，这就实现了高可用。
      5.这段配置，2个节点要一样，表示它们属于一个组，keepalived会同一组中去做检查并保持高可用。

      authentication {
      auth_type PASS
      auth_pass 1111
      }

    6.track_script里面的chk_nginx要与前面定义的定时执行脚本名(vrrp_script chk_nginx { } )保持一致。

    1. 自己定义对外提供服务的虚拟ip。

      virtual_ipaddress {
      192.168.12.111
      }

  • 接着我们也修改192.168.12.88的keepalived.conf的内容。如下文所示：

        global_defs {  
             router_id nginx_cx_8_no_2
    }         
    vrrp_script chk_nginx {
            script "/etc/keepalived/nginx_check.sh"
            interval 2  
            weight -20  
    }       

    vrrp_instance VI_1 {
            state BACKUP
            interface eth0
            virtual_router_id 77
            mcast_src_ip 192.168.12.88
            priority 90  
            nopreempt    
            advert_int 1

            authentication {
                    auth_type PASS
                    auth_pass 1111
            }       

            track_script {
                    chk_nginx
            }       

            virtual_ipaddress {
                    192.168.12.111
            }
    }

  • 我们发现192.168.12.88的keepalived的router_id 是nginx_cx_8_no_2，state是BACKUP(备用)，priority是90。这些和192.168.12.77是不一样的。这里要注意的是virtual_router_id必须要保持一致。

  • 192.168.12.77和192.168.12.88设备中我们还没有配置nginx，我们需要解压编译安装nginx。

    • 解压nginx-1.6.2.tar.gz到/usr/local/
      image.png

  • 进入/usr/local/nginx-1.6.2/目录，输入 ./configure --prefix=/usr/local/nginx进行验证nginx
    。
    image.png

  • 输入make && make install 编译安装nginx
    image.png

*在/etc/keepalived/目录下，创建nginx_check.sh，命令:touch nginx_check.sh，然后写入以下脚本：

A=`ps -C nginx --no-header |wc -l`  
if [ $A -eq 0 ];then  
    /usr/local/nginx/sbin/nginx  
    sleep 2  
    if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then  
        killall keepalived  
    fi  
fi

  • 老操作，在iptables添加80端口策略，命令：-A INPUT -p tcp -m state --state NEW -m tcp --dport 80 -j ACCEPT，然后重启防火墙，让策略生效。
    image.png

  • 为了区分欢迎页是哪个节点下的欢迎页，我先修改192.168.12.77的欢迎页。我们进入/usr/local/nginx/html/目录下，修改index.html，如图所示。
    image.png

  • 同样的，在192.168.12.88设备中修改nginx的html目录下的index.html.
    image.png

  • 启动192.168.12.77和192.168.12.88的nginx。

  • 访问192.168.12.77
    image.png

  • 访问192.168.12.88
    image.png

  • 然后我们启动192.168.12.77、192.168.12.88的keepalived，service keepalived start
    image.png
    image.png

  • 启动keepalived后，我们发现两个节点输入ip a，发现都可以看到共同的虚拟ip 192.168.12.111。可是这是不合理的，正确情况下只有master角色的节点上才有虚拟ip
    image.png
    image.png

  • 造成这个原因的是防火墙，我们可以试着把2个节点的防火墙都关闭，命令是：service iptables stop.

  • 关闭之后，我们再在2个节点输入ip a命令。发现只有master有虚拟ip，而backup没有虚拟ip。这才是正确的。我们可以禁止iptables开机启动。命令：chkconfig iptables off.
    image.png
    image.png

  • 我们用虚拟ip(192.168.12.111)去访问。我们发现启动的是192.168.12.77设备的nginx，里面它的优先级是100，而192.168.12.88设备的nginx优先级是90.
    image.png

  • 我们可以演示一下keepalived的高可用，我们把192.168.12.77的keepalived服务关闭，看keepalived服务器会不会自动切换到192.168.12.88的nginx为我们提供服务。
    image.png

  • 我们再来访问192.168.12.111.此时我们发现是192.168.12.88的nginx为我们提供服务。
    image.png

  • 我们再把192.168.12.77(master)的keepalived服务打开。
    image.png

  • 我们再次访问192.168.12.111.我又发现又切换到nginx master，也就是192.168.12.77
    image.png

  • 我们可以重启192.168.12.77和192.168.12.88。

  • 我们使用service keepalived status查看keepalived服务是否自动启动。结果证明自动启动了，美滋滋。
    image.png
    image.png

  • 我们之前不是说过了吗？nginx_check.sh脚本每隔2s就会检测是否存在nginx进程，如果该节点的nginx进程为0，会尝试重启nginx，如果重启失败的话，则抹杀keepalived进程。我们可以用192.168.12.77做一个测试。

  • 先关闭nginx,命令：/usr/local/nginx/sbin/nginx -s stop。很糟糕的事情发生了，出现了一个错误" [error] open() "/usr/local/nginx/logs/nginx.pid" failed (2: No such file or directory)". 很简单，这说明在/usr/local/nginx/logs/目录下面，缺少nginx.pid文件。

image.png

  • 我们只需要输入命令"/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf"即可生成nginx.pid.
    image.png

  • 然后再次输入命令 /usr/local/nginx/sbin/nginx -s stop，就可以关闭nginx了，啦啦啦。
    image.png

  • 接着我们进入/usr/local/nginx/conf/目录下面，修改nginx.conf文件，添加一个小错误，比如添加"cmazxiaoma is handsome"
    image.png

  • 保存nginx.conf后，重新启动nginx，肯定会报错。美滋滋。
    image.png

  • 最后我们查看keepalived进程，发现尼玛还有keepalived进程。
    image.png

  • 我第一反应想到会不会是nginx_check.sh脚本写错了呢？我进入/etc/keepalived/目录，输入命令"sh nginx_check.sh"，发现抛出“killall 未知的命令”。
    image.png

  • 我摸了摸脑袋发现，我的虚拟机都是精简把，没有安装psmisc.那么我们就安装它把。yum install psmisc.

  • 安装完毕，我们再查看keepalived进程。发现keepalived进程还是存在的。
    image.png

  • 我觉得nginx_check.sh没有问题，我怀疑它没有得到执行。那么我们就自己执行nginx_check.sh。执行结果如下：
    image.png

  • 我们再次查看keepalived进程，发现keepalived进程都被抹杀了。这证明我的直觉没有问题，nginx_check没有得到执行。
    image.png

  • 我又有一个大胆的想法，会不会是后台执行nginx_check,sh脚本时，没有权限。

  • 我们输入nohup /etc/keepalived/nginx_check.sh，提示我们没有权限。
    image.png

  • 权限不够，怎么办？加呗！使用chmod 777 nginx_check.sh，使其他程序能够对nginx_check.sh进行读、写、执行。
    image.png

  • 我们查看keepavlied进程，发现已被nginx_check.sh所抹杀。

image.png

  • 哈哈哈，192.168.12.77挂了，那么我们再访问192.168.12.111，nginx有没有切换到192.168.12.88的nginx。结果很让我满意！
    image.png

Summary

美滋滋，Nginx高可用集群已被搞定。下一篇讲如何把Nginx高可用集群应用到FastDFS集群当中。

点击查看更多内容
发表于 2018.01.12 15:57， 共 4422 人浏览

本文原创发布于慕课网 ，转载请注明出处，谢谢合作

举报
4人点赞

若觉得本文不错，就分享一下吧！

评论

作者其他优质文章

正在加载中

cmazxiaoma

学生
手记
篇
粉丝
42
获赞与收藏
164

关注作者，订阅最新文章

相关文章推荐

阅读免费教程

感谢您的支持，我会继续努力的～
扫码打赏，你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫，即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消