18、《每天5分钟玩转Docker容器技术》学习--Overlay Network

wxsheng

　　------------------------------------重要说明------------------------------------
　　本文内容都是参考Cloudman系列进行学习，是个人学习过程记录，与原版不同！
　　原版请参考cloudman《每天5分钟玩转Docker容器技术》Cloudman博客如下：
　　https://blog.运维网.com/cloudman
　　------------------------------------重要说明------------------------------------
　　为支持容器跨主机通信，Docker 提供了 overlay driver，使用户可以创建基于 VxLAN 的 overlay 网络。VxLAN 可将二层数据封装到 UDP 进行传输，VxLAN 提供与 VLAN 相同的以太网二层服务，但是拥有更强的扩展性和灵活性。
　　Docerk overlay 网络需要一个 key-value 数据库用于保存网络状态信息，包括 Network、Endpoint、IP 等。
　　Consul、Etcd 和 ZooKeeper 都是 Docker 支持的 key-vlaue 软件，我们这里使用 Consul。

a) 实验环境描述
　　在 docker 主机 docker02（192.168.56.130）和 docker03（192.168.56.128）上实践各种跨主机网络方案，在 192.168.56.129 上部署支持的组件，比如 Consul。
　　l 【consul】【Docker machine】(Ubuntu01) 192.168.56.129

　　l Docker host(Ubuntu02) 192.168.56.130

　　l Docker host(Ubuntu03) 192.168.56.128

b) Overlay环境搭建
　　Docerk overlay 网络需要一个 key-value 数据库用于保存网络状态信息，包括 Network、Endpoint、IP 等。Consul、Etcd 和 ZooKeeper 都是 Docker 支持的 key-vlaue 软件，我们这里使用 Consul。

　　最简单的方式是以容器方式运行 Consul：
　　docker run -d -p 8500:8500 -h consul --name consul progrium/consul -server -bootstrap

　　容器启动后，可以通过 http://192.168.56.129:8500 访问 Consul。

　　修改 docker02 和 docker03 的 docker daemon 的配置文件,将docker02和docker03注册到consul数据库中
　　vim /etc/systemd/system/docker.service.d/10-machine.conf
　　
　　--cluster-store=consul://192.168.56.129:8500  指定 consul 的地址
　　--cluster-advertise=ens33:2376 告知 consul 需要连接的地址
　　重启 docker daemon
　　systemctl daemon-reload
　　systemctl restart docker

　　docker02 和 docker03 将自动注册到 Consul 数据库中
　　刷新网页

c) 创建Overlay网络
　　在 docker02 中创建 overlay 网络 ov_net1：
　　docker network ls

　　docker network create -d overlay ov_net1

　　注意到 ov_net1 的 SCOPE 为 global，而其他网络为 local。在 docker03 上查看存在的网络：

　　docker03 上也能看到 ov_net1。这是因为创建 ov_net1 时 docker02 将 overlay 网络信息存入了 consul，docker03 从 consul 读取到了新网络的数据。之后 ov_net 的任何变化都会同步到 docker02 和 docker03。
　　docker network inspect 查看 ov_net1 的详细信息：

　　IPAM 是指 IP Address Management，docker 自动为 ov_net1 分配的 IP 空间为 10.0.0.0/24。
　　运行一个 busybox 容器并连接到 ov_net1：
　　首先记录当前host的网络

　　docker run -itd --name bbox1 --network ov_net1 busybox

　　查看容器的网络配置：

　　bbox1 有两个网络接口 eth0 和 eth1。eth0 IP 为 10.0.0.2，连接的是 overlay 网络 ov_net1。eth1 IP 172.18.0.2，容器的默认路由是走 eth1，eth1 是哪儿来的呢？
　　查看docker中的网络情况

　　查看host的网络情况

　　实验之前并没有docker_gwbridge这个bridge，并且这个bridge有一个interfaces：veth2bd2e8e接口，查看此接口

　　其实，docker 会创建两个网络：bridge网络和VxLAN网络。
　　其中 bridge 网络为 “docker_gwbridge”，作用是为容器提供访问外网的能力;
　　container中的eth1口连接到veth2bd2e8e连接到“docker_gwbridge，为所有连接到 overlay 网络的容器提供访问外网的能力。
　　查看“docker_gwbridge”网络信息
　　docker network inspect docker_gwbridge

　　从 docker network inspect docker_gwbridge 输出可确认 docker_gwbridge 的 IP 地址范围是 172.18.0.0/16，当前连接的容器就是 bbox1（172.18.0.2）。
　　而且此网络的网关就是网桥 docker_gwbridge 的 IP 172.18.0.1。

　　这样容器 bbox1 就可以通过 docker_gwbridge 访问外网。

　　如果外网要访问容器，可通过主机端口映射，比如：
　　docker run -p 80:80 -d --net ov_net1 --name web1 httpd
d) overlay 如何实现跨主机通信？
　　在 docker03 中运行容器 bbox2：

　　bbox2 IP 为 10.0.0.3，可以直接 ping bbox1：
　　可见 overlay 网络中的容器可以直接通信，同时 docker 也实现了 DNS 服务。
e) overlay 网络具体实现
　　查看 overlay 网络的 namespace 可以在 host1 和 host2 上执行 ip netns（请确保在此之前执行过 ln -s /var/run/docker/netns /var/run/netns）

　　可以看到两个 host 上有一个相同的 namespace “1-fc5db23ef3”
　　这就是 ov_net1 的 namespace，查看 namespace 中的 br0 上的设备。
　　ip netns exec 1-fc5db23ef3brctl show

　　查看 vxlan1 设备的具体配置信息可知此 overlay 使用的 VNI（VxLAN ID）为 256
　　ip netns exec 1-fc5db23ef3ip -d l show vxlan1

　　具体实现如下：
　　docker 会为每个 overlay 网络创建一个独立的 network namespace，其中会有一个 linux bridge br0，endpoint 还是由 veth pair 实现，一端连接到容器中（即 eth0），另一端连接到 namespace 的 br0 上。
　　br0 除了连接所有的 endpoint，还会连接一个 vxlan 设备，用于与其他 host 建立 vxlan tunnel。容器之间的数据就是通过这个 tunnel 通信的。逻辑网络拓扑结构如图所示：

f) overlay 如何实现隔离的？
　　不同的 overlay 网络是相互隔离的。我们创建第二个 overlay 网络 ov_net2 并运行容器 bbox3。

　　可以发现没有生成新的docker_gwbridge，共用一个docker_gwbridge，测试下是否可以与网关和外界通讯

　　测试下是否可以与bbox1和bbox2通信

　　如果要实现 bbox3 与 bbox1 通信，可以将 bbox3 也连接到 ov_net1。

　　可见生成了一个新的网卡eth2:10.0.0.4，测试与bbox1和bbox2通讯

g) overlay IPAM
　　docker 默认为 overlay 网络分配 24 位掩码的子网（10.0.X.0/24），所有主机共享这个 subnet，容器启动时会顺序从此空间分配 IP。当然我们也可以通过 --subnet 指定 IP 空间。
　　docker network create -d overlay --subnet 10.22.1.0/24 ov_net3
　　------------------------------------重要说明------------------------------------
　　本文内容都是参考Cloudman系列进行学习，是个人学习过程记录，与原版不同！
　　原版请参考cloudman《每天5分钟玩转Docker容器技术》Cloudman博客如下：
　　https://blog.运维网.com/cloudman
　　------------------------------------重要说明------------------------------------
　　书籍：
　　1.《每天5分钟玩转Kubernetes》
　　https://item.jd.com/26225745440.html
　　2.《每天5分钟玩转Docker容器技术》
　　https://item.jd.com/16936307278.html
　　3.《每天5分钟玩转OpenStack》
　　https://item.jd.com/12086376.html