OpenvSzwitch实现Docker跨主机通信

1. OpenvSwitch简介

    Open vSwitch（下面简称为 OVS）是由 Nicira Networks 主导的，运行在虚拟化平台（例如 KVM，Xen）上的虚拟交换机。在虚拟化平台上，OVS可以为动态变化的端点提供 2 层交换功能，很好的控制虚拟网络中的访问策略、网络隔离、流量监控等等。主要实现代码为可移植的C代码。

    它的目的是让大规模网络自动化可以通过编程扩展，同时仍然支持标准的管理接口和协议（例如NetFlow,sFlow,SPAN,RSPAN,CLI,LACP,802.1ag）。此外，它被设计为支持跨越多个物理服务器的分布式环境，类似于vmware的vmnetwork分布式switch或cisconexus 1000v。Open vSwitch支持多种Linux虚拟化协议，包括Xen/Xen Server,KVM,和VirtualBox。

2.环境

2.1 拓扑图：

wKiom1eAV4egiNamAABB5IJuZo8947.png

2.2 试验环境：

虚拟机操作系统Centos7.2.1511

Openvswitch 2.3.1

3.OpenvSwitch安装

Postil：为了能正常使用service,ifconfig等命令你需要装

yum -y install systemd systemd-libs net-tools

3.1 关闭selinux和防火墙

setenforce 0

sed -i "s/SELINUX=enforcing/SELINUX=permissive/g" /etc/selinux/config

systemctl stop firewalld && systemctl disablefirewalld

3.2 安装依赖包

yum -y install openssl-devel wget kernel-devel

3.3 安装开发工具

yum -y groupinstall "Development Tools"

3.4 添加用户并切换用户

useradd ovswitch

su - ovswitch

3.5 创建编译目录并cd进去

mkdir -p ~/rpmbuild/SOURCES

cd ~/rpmbuild/SOURCES/

3.6 下载OpenvSwitch源码包并解压

wget http://openvswitch.org/releases/openvswitch-2.3.1.tar.gz

tar zxvf openvswitch-2.3.1.tar.gz

3.7 从spec文件中删除openvswitch-kmod的依赖包，并创建一个新的spec文件

sed 's/openvswitch-kmod,//g' openvswitch-2.3.1/rhel/openvswitch.spec >openvswitch-2.3.1/rhel/openvswitch_no_kmod.spec

3.8 编译，然后退出当前用户使用root

rpmbuild -bb --nocheck ./openvswitch-2.3.1/rhel/openvswitch_no_kmod.spec

exit

3.9 安装编译生成的rpm文件

yum -y localinstall/home/ovswitch/rpmbuild/RPMS/x86_64/openvswitch-2.3.1-1.x86_64.rpm

3.10 启动服务

service openvswitch start

service openvswitch status

chkconfig openvswitch on

3.11 安装完成，验证是否安装成功

[root@docker1 ~]# ovs-vsctl --version

ovs-vsctl (Open vSwitch) 2.3.1

Compiled Jul  1 2016 19:52:39

DB Schema 7.6.2

4.0部署OVS实现docker跨主机通信

Docker1_Server与Docker2_Server都执行

安装pipework建立容器间的网络互联的工具

git clonehttps://github.com/jpetazzo/pipework

cp ~/pipework/pipework /usr/bin

4.1 停止docker服务

service docker stop

4.2 安装网桥工具

yum -y install bridge-utils

4.3 停掉docker0网桥并删除

ip link set dev docker0 down

brctl delbr docker0

4.5 配置

Docker1_Server

使用OVS添加网桥br0

ovs-vsctl add-br br0

清空eth0网卡IP

ifconfig eth0 0 up

将物理主机ip赋给br0，并设置网关

ifconfig br0 192.168.200.6/24 up

route add default gw 192.168.200.2

将eth0加入br0

ovs-vsctl add-port br0 eth0

测试是否恢复通信

[root@docker1 ~]# ping baidu.com

PING baidu.com (123.125.114.144) 56(84)bytes of data.

64 bytes from 123.125.114.144: icmp_seq=1ttl=128 time=6.50 ms

64 bytes from 123.125.114.144: icmp_seq=2ttl=128 time=4.80 ms

64 bytes from 123.125.114.144: icmp_seq=3ttl=128 time=6.11 ms

64 bytes from 123.125.114.144: icmp_seq=4ttl=128 time=3.82 ms

让docker使用我们的br0桥接网络

vi /etc/sysconfig/docker-network

修改内容如下行即可：

DOCKER_NETWORK_OPTIONS="-b=br0"

启动docker服务

service docker start

chkconfig docker on

启动容器并为容器指定IP

docker run -itd --name test1 --net=none busybox:latest sh

docker run -itd --name test2 --net=none busybox:latest sh

pipework br0 test1 192.168.200.10/24@192.168.200.6

pipework br0 test2 192.168.200.11/24@192.168.200.6

可用docker ps -a查看容器是否启动

测试访问

docker exec -it test1 sh

wKioL1eAX3rARij6AAA5wUr6aCQ335.png

wKioL1eAX3vQxJyeAAAil_ohDUE281.png

Docker2_Server

使用OVS添加网桥br0

ovs-vsctl add-br br0

清空eth0网卡IP

ifconfig eth0 0 up

将物理主机ip赋给br0，并设置网关

ifconfig br0 192.168.200.7/24 up

route add default gw 192.168.200.2

将eth0加入br0

ovs-vsctl add-port br0 eth0

测试是否恢复通信

[root@docker2 ~]# ping baidu.com

PING baidu.com (123.125.114.144) 56(84)bytes of data.

64 bytes from 123.125.114.144: icmp_seq=1ttl=128 time=5.96 ms

64 bytes from 123.125.114.144: icmp_seq=2ttl=128 time=6.03 ms

64 bytes from 123.125.114.144: icmp_seq=3ttl=128 time=4.59 ms

64 bytes from 123.125.114.144: icmp_seq=4ttl=128 time=6.86 ms

让docker使用我们的br0桥接网络

vi /etc/sysconfig/docker-network

修改内容如下行即可：

DOCKER_NETWORK_OPTIONS="-b=br0"

启动docker服务

service docker start

chkconfig docker on

启动容器并为容器指定IP

docker run -itd --name test3 --net=none busybox:latest sh

docker run -itd --name test4 --net=none busybox:latest sh

pipework br0 test3 192.168.200.12/24@192.168.200.7

pipework br0 test4 192.168.200.13/24@192.168.200.7

可用docker ps -a查看容器是否启动

测试访问

docker exec -it test3 sh

wKioL1eAYSOQFfIVAAA59cEzMlw247.png

wKioL1eAYSPThsrwAAAilhMv8xM718.png

综合测试由docker1_Server来访问docker2_Server

wKioL1eAYX_yrMi0AAAnaUuQjig886.png

wKiom1eAYYGSkLuMAAAkFpgGuo4637.png

总结

通过本次测试，可以看到OpenvSwitch的强大之处，ovs不仅仅用于docker容器，还可以应用虚拟主机网络。通过软件定义网络，极大的简化了网络配置。docker在1.9版本之后加入overlay网络，运用的也是ovs技术。

OpenvSwitch性能是优于docker本身的docker0网桥的。

©著作权归作者所有：来自51CTO博客作者桐雨的原创作品，如需转载，请注明出处，否则将追究法律责任

网络openvswitchovsdocker

输入正文