组件版本

kubernetes v1.8.4

etcd v3.2.10

docker 17.09.0-ce

部署节点------x1 : 运行这份 ansible 脚本的节点

etcd节点------x3 : 注意etcd集群必须是1,3,5,7...奇数个节点

master节点----x2 : 根据实际集群规模可以增加节点数，需要额外规划一个master VIP(虚地址)

lb节点--------x2 : 负载均衡节点两个，安装 haproxy+keepalived

node节点------x3 : 真正应用负载的节点，根据需要增加机器配置和节点数

部署步骤

在每个节点安装依赖工具

mv /etc/yum.repos.d/backup/CentOS-* /etc/yum.repos.d/;rm -rf /etc/yum.repos.d/local.repo

yum clean all

yum install epel-release -y

yum update

wget -P /usr/bin/ http://192.168.12.57/zip/cni-docker-config; chmod a+x /usr/bin/cni-docker-config

在deploy节点安装准备ansible

yum install ansible -y

免密码登录配置(安装需要)

ssh-keygen -t rsa -b 2048

ssh-copy-id $nodes

删除默认ansible配置;

rm -rf /etc/ansible

wget -P /etc/ http://192.168.12.57/zip/ansible.zip;cd /etc;unzip /etc/ansible.zip

修改HOSTS文件

vim /etc/ansible/hosts

# 部署节点：运行这份 ansible 脚本的节点

[deploy]

192.168.100.24

# etcd集群请提供如下NODE_NAME、NODE_IP变量

# 请注意etcd集群必须是1,3,5,7...奇数个节点

[etcd]

192.168.100.24 NODE_NAME=etcd1 NODE_IP="192.168.100.24"

192.168.100.25 NODE_NAME=etcd2 NODE_IP="192.168.100.25"

192.168.100.26 NODE_NAME=etcd3 NODE_IP="192.168.100.26"

[kube-master]

192.168.100.24 NODE_IP="192.168.100.24"

192.168.100.25 NODE_IP="192.168.100.25"

# 负载均衡至少两个节点，安装 haproxy+keepalived

# 根据master节点数量同步修改roles/lb/templates/haproxy.cfg.j2

[lb]

192.168.100.24 LB_IF="br0" LB_ROLE=master

192.168.100.25 LB_IF="br0" LB_ROLE=backup

[lb:vars]

LB_EP1="192.168.100.24:6443"    # api-server 实际成员地址端口

LB_EP2="192.168.100.25:6443"    # api-server 实际成员地址端口

MASTER_IP="192.168.100.29"      # api-server 虚地址

MASTER_PORT="8443"              # api-server 服务端口

#确保node节点有变量NODE_ID=node1

[kube-node]

192.168.100.24 NODE_ID=node1 NODE_IP="192.168.100.24"

192.168.100.25 NODE_ID=node2 NODE_IP="192.168.100.25"

192.168.100.26 NODE_ID=node3 NODE_IP="192.168.100.26"

[kube-cluster:children]

kube-node

kube-master

# 如果启用harbor，请配置后面harbor相关参数

[harbor]

#192.168.1.8 NODE_IP="192.168.1.8"

# 预留组，后续添加node节点使用

[new-node]

#192.168.1.xx NODE_ID=node6 NODE_IP="192.168.1.xx"

#192.168.1.xx NODE_ID=node7 NODE_IP="192.168.1.xx"

[all:vars]

# ---------集群主要参数---------------

#集群 MASTER IP, 需要负载均衡，一般为VIP地址

MASTER_IP="192.168.100.29"

KUBE_APISERVER="https://192.168.100.29:8443"

#pause镜像地址

POD_INFRA_CONTAINER_IMAGE=mirrorgooglecontainers/pause-amd64:3.0

#TLS Bootstrapping 使用的 Token，使用 head -c 16 /dev/urandom | od -An -t x | tr -d ' ' 生成

BOOTSTRAP_TOKEN="c30302226d4b810e08731702d3890f50"

# 服务网段 (Service CIDR），部署前路由不可达，部署后集群内使用 IP:Port 可达

SERVICE_CIDR="10.68.0.0/16"

# POD 网段 (Cluster CIDR），部署前路由不可达，**部署后**路由可达

CLUSTER_CIDR="172.20.0.0/16"

# 服务端口范围 (NodePort Range)

NODE_PORT_RANGE="20000-40000"

# kubernetes 服务 IP (预分配，一般是 SERVICE_CIDR 中第一个IP)

CLUSTER_KUBERNETES_SVC_IP="10.68.0.1"

# 集群 DNS 服务 IP (从 SERVICE_CIDR 中预分配)

CLUSTER_DNS_SVC_IP="10.68.0.2"

# 集群 DNS 域名

CLUSTER_DNS_DOMAIN="cluster.local."

# etcd 集群间通信的IP和端口, **根据实际 etcd 集群成员设置**

ETCD_NODES="etcd1=https://192.168.100.24:2380,etcd2=https://192.168.100.25:2380,etcd3=https://192.168.100.26:2380"

# etcd 集群服务地址列表, **根据实际 etcd 集群成员设置**

ETCD_ENDPOINTS="https://192.168.100.24:2379,https://192.168.100.25:2379,https://192.168.100.26:2379"

# 集群basic auth 使用的用户名和密码

BASIC_AUTH_USER="admin"

BASIC_AUTH_PASS="test1234"

# ---------附加参数--------------------

#默认二进制文件目录

bin_dir="/root/local/bin"

#证书目录

ca_dir="/etc/kubernetes/ssl"

#部署目录，即 ansible 工作目录，建议不要修改

base_dir="/etc/ansible"

#私有仓库 harbor服务器 (域名或者IP)

#HARBOR_IP="192.168.1.8"

#HARBOR_DOMAIN="harbor.yourdomain.com"

#ansible all -m ping 测试部署节点

ansible准备好之后在每台服务器上安装openvswitch

由于loadbalance的rip在K8Snode 的网桥上，所以需要先配置openvswitch才可以安装。

openvswitch部署

wget http://192.168.12.57/zip/openvswitch-2.5.0.tar.gz;tar -zxvf openvswitch-2.5.0.tar.gz;mkdir -p ~/rpmbuild/SOURCES;sed 's/openvswitch-kmod, //g' openvswitch-2.5.0/rhel/openvswitch.spec > openvswitch-2.5.0/rhel/openvswitch_no_kmod.spec;cp openvswitch-2.5.0.tar.gz rpmbuild/SOURCES;rpmbuild -bb --without=check ~/openvswitch-2.5.0/rhel/openvswitch_no_kmod.spec;yum localinstall rpmbuild/RPMS/x86_64/openvswitch-2.5.0-1.x86_64.rpm -y;

完成后使用命令创建网桥规范命名用br0

ovs-vsctl add-br br0

将网卡桥接入br0

ovs-vsctl add-port br0 eth0

开始从ansible安装k8s

cd /etc/ansible;ansible-playbook 90.setup.yml

完成后

kubectl get node 

会发现节点NotReady，日志提示/etc/cni/net.d/  NotFound

执行

wget -P /etc/cni/net.d/ http://192.168.12.57/zip/10-mynet.conf

cat 10-mynet.conf

{

    "cniVersion": "0.3.0",

    "name": "mynet",网络名称

    "type": "auto_ip",###容器分配IP插件  在/opt/cni/bin可以找到

    "bridge": "br0",##桥接网卡名称

    "etcd_endpoints":"https://192.168.103.24:2379",##etcd服务器地址

    "isDefaultGateway": true,

    "forceAddress": false,

    "ipMasq": true,

    "hairpinMode": true,

    "ipam": {

        "type": "host-local",##默认地址/opt/bin/cni

        "subnet": "192.168.100.0/22",  ##子网掩码

        "rangeStart":"192.168.100.31",##节点网段IP地址起始地址（每台机一个地址段）

        "rangeEnd":"192.168.102.2",##节点网段IP地址结束地址

        "gateway":"192.168.103.254"##网关

    }

}

配置/opt/cni/bin

cd /opt/

wget http://192.168.12.57/zip/cni.zip;unzip cni.zip

在master上修改配置文件/etc/haproxy.cfg， 可以listen新增proxyIP

listen kube-master

        bind 0.0.0.0:8443

        mode tcp

        option tcplog

        balance source

        server s1 192.168.102.1:6443  check inter 10000 fall 2 rise 2 weight 1

        server s2 192.168.102.2:6443  check inter 10000 fall 2 rise 2 weight 1

执行 ln -s /root/local/bin/docker /bin/docker （如果cni-docker-config找不到docker命令的话）

作者：LeoYJ
链接：https://www.jianshu.com/p/d82eb569f21b