前言
我們搭建一個網(wǎng)絡(luò)環(huán)境待锈，一般遵循一定的網(wǎng)絡(luò)拓撲結(jié)構(gòu)篡帕。由于Linux可以模擬相應(yīng)的網(wǎng)絡(luò)設(shè)備耗拓，并可以創(chuàng)建“虛擬機”（也就是容器）留美，因此在Linux系統(tǒng)內(nèi)彰檬，我們也可以遵循一定的網(wǎng)路拓撲結(jié)構(gòu)，設(shè)計一個“內(nèi)網(wǎng)”谎砾，實現(xiàn)容器之間的通信逢倍。
本文主要講述容器跨主機網(wǎng)絡(luò)通信。
實現(xiàn)方式
容器跨主機的網(wǎng)絡(luò)通信景图，主要實現(xiàn)思路有兩種：二層VLAN網(wǎng)絡(luò)和Overlay網(wǎng)絡(luò)较雕。
二層VLAN網(wǎng)絡(luò)的解決跨主機通信的思路是把原先的網(wǎng)絡(luò)架構(gòu)改造為互通的大二層網(wǎng)絡(luò)，通過特定網(wǎng)絡(luò)設(shè)備直接路由挚币，實現(xiàn)容器點到點的之間通信亮蒋。
Overlay網(wǎng)絡(luò)是指在不改變現(xiàn)有網(wǎng)絡(luò)基礎(chǔ)設(shè)施的前提下，通過某種約定通信協(xié)議妆毕，把二層報文封裝在IP報文之上的新的數(shù)據(jù)格式慎玖。
libnetwork
Libnetwork是Docker團隊將Docker的網(wǎng)絡(luò)功能從Docker核心代碼中分離出去，形成一個單獨的庫笛粘。 Libnetwork通過插件的形式為Docker提供網(wǎng)絡(luò)功能趁怔。 使得用戶可以根據(jù)自己的需求實現(xiàn)自己的Driver來提供不同的網(wǎng)絡(luò)功能。
官方目前計劃實現(xiàn)以下Driver：
Bridge ： 這個Driver就是Docker現(xiàn)有網(wǎng)絡(luò)Bridge模式的實現(xiàn)薪前。 （基本完成润努，主要從之前的Docker網(wǎng)絡(luò)代碼中遷移過來）
Null ： Driver的空實現(xiàn)，類似于Docker 容器的None模式示括。
Overlay ： 隧道模式實現(xiàn)多主機通信的方案铺浇。
“Libnetwork所要實現(xiàn)的網(wǎng)絡(luò)模型（網(wǎng)絡(luò)拓撲結(jié)構(gòu)）基本是這樣的： 用戶可以創(chuàng)建一個或多個網(wǎng)絡(luò)（一個網(wǎng)絡(luò)就是一個網(wǎng)橋或者一個VLAN ），一個容器可以加入一個或多個網(wǎng)絡(luò)垛膝。 同一個網(wǎng)絡(luò)中容器可以通信随抠，不同網(wǎng)絡(luò)中的容器隔離裁着。”我覺得這才是將網(wǎng)絡(luò)從docker分離出去的真正含義拱她，即在創(chuàng)建容器之前二驰，我們可以先創(chuàng)建網(wǎng)絡(luò)（即創(chuàng)建容器與創(chuàng)建網(wǎng)絡(luò)是分開的），然后決定讓容器加入哪個網(wǎng)絡(luò)秉沼。
Libnetwork定義的容器網(wǎng)絡(luò)模型
Sandbox：對應(yīng)一個容器中的網(wǎng)絡(luò)環(huán)境（沒有實體）桶雀，包括相應(yīng)的網(wǎng)卡配置、路由表唬复、DNS配置等矗积。CNM很形象的將它表示為網(wǎng)絡(luò)的『沙盒』，因為這樣的網(wǎng)絡(luò)環(huán)境是隨著容器的創(chuàng)建而創(chuàng)建敞咧，又隨著容器銷毀而不復存在的棘捣；
Endpoint：實際上就是一個容器中的虛擬網(wǎng)卡，在容器中會顯示為eth0休建、eth1依次類推乍恐；
Network：指的是一個能夠相互通信的容器網(wǎng)絡(luò)，加入了同一個網(wǎng)絡(luò)的容器直接可以直接通過對方的名字相互連接测砂。它的實體本質(zhì)上是主機上的虛擬網(wǎng)卡或網(wǎng)橋茵烈。
Libnetwork網(wǎng)絡(luò)使用方式
直接使用
假設(shè)存在主機
192.168.56.101,192.168.56.102修改每個主機的docker啟動參數(shù)
DOCKER_OPTS=--insecure-registry 192.168.3.56:5000 -H 0.0.0.0:2375 --cluster-store=etcd://192.168.56.101:2379/ --cluster-advertise=192.168.56.101:2375，重啟docker砌些。docker創(chuàng)建overlay網(wǎng)絡(luò)net1和net2
192.168.56.101或192.168.56.102執(zhí)行docker network create -d overlay net1``docker network create -d overlay net2192.168.56.101運行容器net1c1,net2c1docker run -itd --name net1c1 --net net1 ubuntu:14.04192.168.56.102運行容器net1c2,net2c2呜投。
通過docker swarm使用
- 啟動etcd集群，存儲docker swarm節(jié)點信息
192.168.56.101上etcd配置
ETCD_OPTS=--data-dir=/var/lib/etcd/ \
--name wily1 \
--initial-advertise-peer-urls http://192.168.56.101:2380 \
--listen-peer-urls http://192.168.56.101:2380 \
--listen-client-urls http://192.168.56.101:2379,http://127.0.0.1:2379 \
--advertise-client-urls http://192.168.56.101:2379 \
--initial-cluster-token etcd-cluster-1 \
--initial-cluster-state new \
--initial-cluster wily1=http://192.168.56.101:2380,wily2=http://192.168.56.102:2380
192.168.56.102上etcd配置
ETCD_OPTS=--data-dir=/var/lib/etcd/ \
--name wily1 \
--initial-advertise-peer-urls http://192.168.56.102:2380 \
--listen-peer-urls http://192.168.56.102:2380 \
--listen-client-urls http://192.168.56.102:2379,http://127.0.0.1:2379 \
--advertise-client-urls http://192.168.56.102:2379 \
--initial-cluster-token etcd-cluster-1 \
--initial-cluster-state new \
--initial-cluster wily1=http://192.168.56.101:2380,wily2=http://192.168.56.102:2380
- 啟動 docker swarm
192.168.56.101執(zhí)行docker run --name swarm-agent -d swarm join --addr=192.168.56.101:2375 etcd://192.168.56.101:2379/swarm192.168.56.102執(zhí)行docker run --name swarm-agent -d swarm join --addr=192.168.56.102:2375 etcd://192.168.56.102:2379/swarm192.168.56.101上啟動swarm-managerdocker run --name swarm-manager -d -p 3375:2375 swarm manage etcd://192.168.56.101:2379/swarm
-
192.168.56.101上創(chuàng)建網(wǎng)絡(luò)net3并啟動容器
docker -H tcp://localhost:3375 network create -d overlay net3
docker -H tcp://localhost:3375 run -it --net net3 ubuntu bash
-
192.168.56.101上創(chuàng)建網(wǎng)絡(luò)net4并啟動容器存璃，并且指定容器的ip仑荐，這個效果在實際場景中很有用
docker -H tcp://localhost:3375 network create -d overlay net4 --subnet 172.19.0.0/16
docker -H tcp://localhost:3375 run -it --net net4 --ip=172.19.0.6 ubuntu bash
使用--ip參數(shù)時，必須值定特定的子網(wǎng)纵东，參見https://github.com/docker/docker/issues/20547
- 用
docker-compose試試粘招。docker-compose文件
version: '2'
services:
web:
image: reinblau/php-apache2
networks:
- net5
networks:
net5:
driver: overlay
使用systemd配置docker swarm
-
192.168.56.101和192.168.56.102配置swarm-agent.service
[Unit]
Description=Docker Swarm Agent Container
Documentation=https://docs.docker.com
Requires=etcd.service
Requires=docker.service
After=etcd.service
After=docker.service
[Service]
Type=simple
EnvironmentFile=/etc/default/swarm-agent
ExecStartPre=-/usr/bin/docker stop ${CONTAINER_NAME}
ExecStartPre=-/bin/echo "/usr/bin/docker stop ${CONTAINER_NAME}"
ExecStartPre=-/usr/bin/docker rm ${CONTAINER_NAME}
ExecStartPre=/usr/bin/docker pull swarm
ExecStart=/usr/bin/docker run --rm --name ${CONTAINER_NAME} swarm join --addr=${DOCKER_ADDRESS} ${ETCD_SWARM_URL}
ExecStartPre=-/bin/echo "/usr/bin/docker run --rm --name ${CONTAINER_NAME} swarm join --addr=${DOCKER_ADDRESS} ${ETCD_SWARM_URL}"
[Install]
WantedBy=multi-user.target
-
192.168.56.101配置swarm-manager.service
[Unit]
Description=Docker Swarm Manager Container
Documentation=https://docs.docker.com
Requires=etcd.service
Requires=docker.service
After=etcd.service
After=docker.service
[Service]
Type=simple
EnvironmentFile=/etc/default/swarm-manager
ExecStartPre=-/usr/bin/docker stop ${CONTAINER_NAME}
ExecStartPre=-/bin/echo "/usr/bin/docker stop ${CONTAINER_NAME}"
ExecStartPre=-/usr/bin/docker rm ${CONTAINER_NAME}
ExecStartPre=/usr/bin/docker pull swarm
ExecStart=/usr/bin/docker run --name ${CONTAINER_NAME} -p ${SWARM_PORT}:2375 swarm manage ${ETCD_SWARM_URL}
ExecStartPre=-/bin/echo "/usr/bin/docker run --rm --name ${CONTAINER_NAME} -p ${SWARM_PORT}:2375 swarm manage ${ETCD_SWARM_URL}"
[Install]
WantedBy=multi-user.target
一些坑
如果你使用virtual box虛擬了兩個主機192.168.56.101和192.168.56.102，并且192.168.56.102是由192.168.56.101克隆而來篮迎，則你需要清除xx/docker/key.json（不同系統(tǒng)位置不同）男图，并重啟docker示姿。否則兩個主機啟動的容器可能具有同一個id甜橱，進而導致使用docker swarm時出現(xiàn)問題。參見https://github.com/docker/swarm/issues/380
小結(jié)
docker 真是做的越來越全面了栈戳，如果僅僅是用用岂傲，一切都是參數(shù)配置，搞得人家很沒有成就感嘛子檀。
