在技術(shù)選型swarm的時(shí)候,因?yàn)闀r(shí)間緊,任務(wù)重,所以選擇比較簡(jiǎn)單的方式完成集群管理.
swarm
我們通過簡(jiǎn)單的配置實(shí)現(xiàn)集群管理,具體的方法可以看參考 主要是通過token的方式.
場(chǎng)景
我們需要?jiǎng)?chuàng)建一個(gè)測(cè)試用例,假設(shè), 我們提供3個(gè)服務(wù),一個(gè)是mysql, 一個(gè)是hello-world,一個(gè)是nginx ,之間存在依賴關(guān)系,我們想實(shí)現(xiàn)運(yùn)行compose.yml則運(yùn)行到兩臺(tái)不同的機(jī)器上面,并且能夠保障host可以找到彼此.
version: '2'
services:
mysql:
image: mysql
ports:
- "3306:3306"
hello:
image: hello-world
links:
- mysql
nginx:
image: nginx
links:
- hello
我們執(zhí)行命令docker-compose up
提示信息:
Compose does not use swarm mode to deploy services to multiple nodes in a swarm. All containers will be scheduled on the current node.
To deploy your application across the swarm, use the bundle feature of the Docker experimental build.
More info:
https://docs.docker.com/compose/bundles
what?怎么跟想象中的不一樣呢?我們按照提示使用bundle試試.
nsupported key 'links' in services.nginx - ignoring
好吧好吧,重新梳理下,是否compose.yml寫的有問題呢?我們通過查看v1,2,3發(fā)現(xiàn),如果 version中關(guān)于version2有描述,默認(rèn)所有的容器都采用默認(rèn)的network,他們通過服務(wù)名作為主機(jī)名進(jìn)行發(fā)現(xiàn).所以,大部分情況下,不需要指定links.那我們重新編寫compose.yml.
version: '2'
services:
mysql:
image: mysql
ports:
- "3306:3306"
networks:
- my-network
hello:
image: hello-world
networks:
- my-network
nginx:
image: nginx
networks:
- my-network
networks:
my-network:
driver: bridge
這樣好像不行 ,我們參考 swarm-compose 和multi-host network,swarm如果使用compose,則必須在集群中配置一個(gè)overlay的driver. 我們創(chuàng)建一個(gè)overlay的網(wǎng)絡(luò).
docker network create \ --driver overlay \ --subnet 10.0.9.0/24 \ my-network
我們執(zhí)行bundle查看不支持top-level 的networks 那么我們刪除這個(gè)根networks配置.沒有定義my-network這個(gè)網(wǎng)絡(luò),崩潰了,崩潰了,有木有有木有.
我們通過node 查看 network docker network ls 確實(shí)沒有master節(jié)點(diǎn)的這個(gè)網(wǎng)絡(luò),手動(dòng)創(chuàng)建吧,他還不讓, 通過查詢資料有兩個(gè)方案.
創(chuàng)建一個(gè)服務(wù)
通過執(zhí)行docker service create --replicas 2 --network my-network --name my-web nginx將會(huì)自動(dòng)創(chuàng)建.這個(gè)問題不搜不知道,谷歌一搜發(fā)現(xiàn),好多人在1.12遇到這個(gè)問題, 其中有一個(gè)用戶答復(fù)說了這個(gè)方案,通過嘗試,我們發(fā)現(xiàn)確實(shí)在node 自動(dòng)創(chuàng)建了這個(gè)網(wǎng)絡(luò). but ,當(dāng)我bundle時(shí)候還是提示找不到 淚奔了!!!-
通過使用外部key-value 存儲(chǔ) etcd實(shí)現(xiàn)
目前我有三臺(tái)虛擬機(jī): ip為224,225,226.
因?yàn)槲业拈_發(fā)環(huán)境無法保證docker-machine生成的ip和tls的合法性,所以我選擇使用etcd.挑選224作為etcd主機(jī)發(fā)現(xiàn),并且作為管理者,255.226作為節(jié)點(diǎn),我們?cè)?24上面安裝etcd 安裝方法 ,安裝之后如何使用呢,我們決定先用一臺(tái)etcd用于主機(jī)發(fā)現(xiàn)來測(cè)試,所以我們參照官方docker的配置方式,進(jìn)行啟動(dòng)參數(shù)的配置,參考,配置如下:
./etcd -name etcd0
-advertise-client-urls http://${HostIP}:2379,http://${HostIP}:4001
-listen-client-urls http://0.0.0.0:2379,http://0.0.0.0:4001
-initial-advertise-peer-urls http://${HostIP}:2380
-listen-peer-urls http://0.0.0.0:2380
-initial-cluster-token etcd-cluster-1
-initial-cluster etcd0=http://${HostIP}:2380
-initial-cluster-state new
在225.226節(jié)點(diǎn)執(zhí)行
docker run -d swarm join --addr=192.168.0.225:2375 etcd://192.168.0.224:2379/swarm
docker run -d swarm join --addr=192.168.0.226:2375 etcd://192.168.0.224:2379/swarm
開啟swarm-master
docker run -d -p 3376:3376 -t \
swarm manage
-H 0.0.0.0:3376
etcd://192.168.0.224:2379/swarm
檢查下etcd集群
docker run --rm swarm list etcd://192.168.0.224:2379/swarm
檢查swarm集群信息
export DOCKER_HOST=192.168.0.224:3376
docker info
一些問題
我在使用過程中出現(xiàn)了 2375不能訪問,還有就是,datastore for scope "global" is not initialized ,通過修改所有主機(jī)的配置文件 /lib/systemd/system/docker.service 增加了一些配置 -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock --cluster-advertise 192.168.0.226:2375 --cluster-store
etcd://192.168.0.224:2379
最終實(shí)現(xiàn)了etcd的主機(jī)發(fā)現(xiàn).
好了,我們開始測(cè)試下 compose.yml , 創(chuàng)建一個(gè)overlay網(wǎng)絡(luò), binggo!!成功了, compose.yml文件運(yùn)行,提示nginx 還是找不到網(wǎng)絡(luò), 好了好了,配置一個(gè)默認(rèn)網(wǎng)絡(luò)吧
networks:
default:
external:
name: my-network
通過運(yùn)行發(fā)現(xiàn)mysql需要提供很多環(huán)境變量,測(cè)試方便,我們刪除,使用tomcat,nginx 進(jìn)行測(cè)試 ,links就不寫了,因?yàn)槿绻\(yùn)行成功則,所有的服務(wù)名稱就是hostname, 之間可以實(shí)現(xiàn)訪問, 通過3376swarm管理端進(jìn)行運(yùn)行,我們發(fā)現(xiàn)和我們?cè)O(shè)想的一樣
推薦資料
總結(jié)
我們通過dockerd 配置 --cluster-store and --cluster-advertise 開啟了swarm模式,我們?cè)倏紤]是否自己理解錯(cuò)了才導(dǎo)致走了這么多彎路,現(xiàn)在回頭來整理整理,假如我能夠連接到集成的swarm中那么我就可以進(jìn)行compose服務(wù)操作了.查詢init中2377端口,怎么連接呢?找不到呀.v.1.12集成了swarm, swarm提供了init,join 操作, 而這只是提供了swarm基礎(chǔ)功能, 那么重點(diǎn)就是service, service通過swarm 實(shí)現(xiàn)了負(fù)載,容錯(cuò),和快速更新的功能, 這里的service的理解上面可能自己理解錯(cuò)了,我的理解是鏡像通過配置啟動(dòng)成為容器,很多個(gè)容器構(gòu)成了一個(gè)完成的服務(wù)體系, 然而,通過使用發(fā)現(xiàn),這里的服務(wù)應(yīng)該是依鏡像為粒度進(jìn)行的操作.比如,通過鏡像配置完成一個(gè)容器的,多份容器集群分布就構(gòu)成了service,所以,基于理解的不同導(dǎo)致了浪費(fèi)了許多時(shí)間, 我們?cè)陂_發(fā)中更傾向于考慮多個(gè)服務(wù)如何部署到多臺(tái)電腦上面這個(gè)操作.而service更傾向于考慮,如果把單一鏡像部署在多個(gè)電腦上面, 所以,使用v1.12中提供的swarm為我們提供了單服務(wù)的彈性操作, 這里,我們還是使用服務(wù)發(fā)現(xiàn),連接到swarm進(jìn)行更加自定義的部署操作.以后如果需要為某個(gè)服務(wù)提供彈性操作可能會(huì)考慮使用service.好了,文章里充滿了血與淚.
