Docker - 用Flannel跨主機

試了下比較流行的幾種SDN犀盟,感覺flannel還是比較好用而晒,這里簡單記錄一下。

用的是virtualbox阅畴,3個機器倡怎,分別為:

genesis: inet 192.168.99.103/24 brd 192.168.99.255 scope global dynamic enp0s3

exodus: inet 192.168.99.105/24 brd 192.168.99.255 scope global dynamic enp0s3

leviticus: inet 192.168.99.106/24 brd 192.168.99.255 scope global dynamic enp0s3

虛機信息如下

[root@localhostyum.repos.d]# uname -mars

Linuxlocalhost.localdomain3.10.0-229.el7.x86_64#1 SMP Fri Mar 6 11:36:42 UTC 2015 x86_64 x86_64 x86_64 GNU/Linux

[root@localhostyum.repos.d]# cat /etc/*-release

CentOSLinuxrelease7.3.1611(Core)

NAME="CentOS Linux"VERSION="7 "

(Core)"ID="centos"ID_LIKE="rhel fedora"VERSION_ID="7"

RETTY_NAME="CentOS Linux 7 (Core)"ANSI_COLOR="0;31"

CPE_NAME="cpe:/o:centos:centos:7"

HOME_URL="https://www.centos.org/"BUG_REPORT_URL="https://bugs.centos.org/"

CENTOS_MANTISBT_PROJECT="CentOS-7"CENTOS_MANTISBT_PROJECT_VERSION="7"REDHAT_SUPPORT_PRODUCT="centos"REDHAT_SUPPORT_PRODUCT_VERSION="7"

CentOSLinuxrelease7.3.1611(Core)

CentOSLinuxrelease7.3.1611(Core)

[root@localhostyum.repos.d]# docker version

Client:Version:1.12.5APIversion:1.24Goversion:go1.6.4Gitcommit:7392c3bBuilt:FriDec1602:23:592016OS/Arch:linux/amd64

隨便選擇兩臺機器run一下,在容器中ifconfig:

[root@localhost~]# docker run -it busybox

/#ifconfig

eth0

Linkencap:EthernetHWaddr02:42:AC:11:00:02inetaddr:172.17.0.2Bcast:0.0.0.0Mask:255.255.0.0inet6addr:fe80::42:acff:fe11:2/64Scope:LinkUPBROADCASTRUNNINGMULTICASTMTU:1500Metric:1RXpackets:12errors:0dropped:0overruns:0frame:0TXpackets:6errors:0dropped:0overruns:0carrier:0collisions:0txqueuelen:0RXbytes:1016(1016.0B)TXbytes:508(508.0B)

lo

Linkencap:LocalLoopbackinetaddr:127.0.0.1Mask:255.0.0.0inet6addr:::1/128Scope:HostUPLOOPBACKRUNNINGMTU:65536Metric:1RXpackets:0errors:0dropped:0overruns:0frame:0TXpackets:0errors:0dropped:0overruns:0carrier:0collisions:0txqueuelen:0RXbytes:0(0.0B)TXbytes:0(0.0B)

發(fā)現(xiàn)參數(shù)完全相同,單純bridge模式下并沒有跨主機互通监署,而host模式是并不建議使用的颤专。

install

先yum install -y etcd flannel,如果沒問題是再好不過了钠乏。

etcd 3.x支持--config-file參數(shù)栖秕,需要的話可以從源代碼install(需要golang 1.6+)。

先從etcd開始晓避,簡單說就是"distributed key value store"簇捍。

etcd集群的3種方式:

static

etcd discovery

DNS discovery

DNS discovery主要是用srv record,這里先不搞DNS服務俏拱,下面對static和etcd discovery兩種方式簡單說明一下暑塑。

static

參數(shù)可以在啟動時置頂,或者寫到配置文件中锅必,默認配置文件為/etc/etcd/etcd.conf事格。

genesis的配置如下:

ETCD_NAME=genesis

ETCD_DATA_DIR="/var/lib/etcd/genesis"

ETCD_LISTEN_PEER_URLS="http://192.168.99.103:2380"

ETCD_LISTEN_CLIENT_URLS="http://192.168.99.103:2379,http://127.0.0.1:2379"

ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.99.103:2380"

ETCD_ADVERTISE_CLIENT_URLS="http://192.168.99.103:2379"

ETCD_INITIAL_CLUSTER_STATE="new"

ETCD_INITIAL_CLUSTER_TOKEN="etct-fantasy"ETCD_INITIAL_CLUSTER="exodus=http://192.168.99.105:2380,genesis=http://192.168.99.103:2380"

exodus的配置如下:

ETCD_NAME=exodusETCD_DATA_DIR="/var/lib/etcd/exodus"ETCD_LISTEN_PEER_URLS="http://192.168.99.105:2380"ETCD_LISTEN_CLIENT_URLS="http://192.168.99.105:2379,http://127.0.0.1:2379"ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.99.105:2380"ETCD_ADVERTISE_CLIENT_URLS="http://192.168.99.105:2379"ETCD_INITIAL_CLUSTER_STATE="new"ETCD_INITIAL_CLUSTER_TOKEN="etctfantasy"

ETCD_INITIAL_CLUSTER="exodus=http://192.168.99.105:2380,genesis=http://192.168.99.103:2380"

啟動方式看自己喜好,如果打算用systemctl啟動的話搞隐,注意/usr/lib/systemd/system/etcd.service中的內(nèi)容可能不會如你所愿驹愚。

啟動后,檢查一下集群狀態(tài)劣纲,順便也看看有哪些成員:

[root@localhost etcd]# etcdctl cluster-health

member7a4f27f78a05e755ishealthy: g

ot healthy resultfromhttp://192.168.99.103:2379

failed to check the health of member8e8718b335c6c9a2 on http://192.168.99.105:2379:?

Get http://192.168.99.105:2379/health: dial tcp 192.168.99.105:2379: i/o timeoutmember8e8718b335c6c9a2isunreachable: [http://192.168.99.105:2379] are all unreachableclusterishealthy

提示"member unreachable"么鹤,看來是被exodus的防火墻攔住了,我們先粗暴一點味廊。

[root@localhost etcd]# systemctl stop firewalld

[root@localhost etcd]# etcdctl cluster-health

member7a4f27f78a05e755ishealthy: got healthy resultfromhttp://192.168.99.103:2379 member8e8718b335c6c9a2ishealthy: got healthy resultfromhttp://192.168.99.105:2379?

cluster is healthy?etcd discovery

當然蒸甜,這樣配置的前提是已經(jīng)知道各個節(jié)點的信息。

但實際場景中可能無法預知各個member余佛,所以我們需要讓etcd自己去發(fā)現(xiàn)(discovery)柠新。

首先,etcd提供了一個public discovery service - discovery.etcd.io辉巡,我們用它來生成一個discovery token恨憎,并在genesis創(chuàng)建目錄:

[root@localhostetcd]# curl https://discovery.etcd.io/newsize=3

https://discovery.etcd.io/6321c0706046c91f2b2598206ffa3272

[root@localhostetcd]# etcdctl set /discovery/6321c0706046c91f2b2598206ffa3272/_config/size 3

修改exodus的配置,用discovery代替之前的cluster:

ETCD_NAME=exodus

ETCD_DATA_DIR="/var/lib/etcd/exodus"

ETCD_LISTEN_PEER_URLS="http://192.168.99.105:2380"

ETCD_LISTEN_CLIENT_URLS="http://192.168.99.105:2379,http://127.0.0.1:2379"

ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.99.105:2380"

ETCD_ADVERTISE_CLIENT_URLS="http://192.168.99.105:2379"

ETCD_DISCOVERY=http://192.168.99.103:2379/v2/keys/discovery/98a976dac265a218f1a1959eb8dde57f

如果啟動后一直顯示如下錯誤(參考:raft election):

rafthttp:the clock difference against peer ?????? is too high [??????s > 1s]

簡單的解決方法是通過ntp:

[root@localhostetcd]yum install ntp -y

[root@localhostetcd]# systemctl enable ntpd

Createdsymlinkfrom /etc/systemd/system/multi-user.target.wants/ntpd.service to /usr/lib/systemd/system/ntpd.service.

[root@localhostetcd]# systemctl start ntpd

flannel

set一個路徑給flannel用:

etcdctlset/coreos.com/network/config'{ "Network": "10.1.0.0/16" }'

以systemctl start flanneld方式啟動時郊楣,如果出現(xiàn)以下錯誤

network.go:53]Failedto retrieve networkconfig:100:Keynotfound (/coreos.net) [9]

注意/etc/sysconfig/flanneld中的內(nèi)容憔恳,FLANNEL_ETCD_PREFIX很可能是/atomic.io/network,將其改為/coreos.com/network净蚤。

或者也可以通過-etcd-prefix指定钥组。

啟動成功后,查看subnet:

[root@localhostetcd]# etcdctl ls /coreos.com/network/subnets

coreos.com/network/subnets/10.1.90.0-24

coreos.com/network/subnets/10.1.30.0-24

coreos.com/network/subnets/10.1.18.0-24

flannel啟動成功后會生成/run/flannel/docker今瀑,內(nèi)容如下:

DOCKER_OPT_BIP="--bip=10.1.30.1/24"

DOCKER_OPT_IPMASQ="--ip-masq=true"

DOCKER_OPT_MTU="--mtu=1450"

DOCKER_NETWORK_OPTIONS=" --bip=10.1.30.1/24 --ip-masq=true --mtu=1450 "

用以下方式啟動docker:

[root@localhostetcd]# source /run/flannel/docker

[root@localhostetcd]# docker daemon ${DOCKER_NETWORK_OPTIONS} >> /dev/null 2>&1 &

/run/flannel/docker是怎么來的程梦?

參考flanneld的兩個啟動參數(shù)点把,-subnet-dir-subnet-file

在genesis進入容器看看效果:

[root@localhostetcd]# docker run -it busybox

#ifconfig

eth0 Linkencap:EthernetHWaddr02:42:0A:01:5A:02inetaddr:10.1.90.2Bcast:0.0.0.0Mask:255.255.255.0inet6addr:fe80::42:aff:fe01:5a02/64Scope:LinkUPBROADCASTRUNNINGMULTICASTMTU:1450Metric:1RXpackets:6errors:0dropped:0overruns:0frame:0TXpackets:6errors:0dropped:0overruns:0carrier:0collisions:0txqueuelen:0RXbytes:508(508.0B)TXbytes:508(508.0B)

lo

Linkencap:LocalLoopbackinetaddr:127.0.0.1Mask:255.0.0.0inet6addr:::1/128Scope:HostUPLOOPBACKRUNNINGMTU:65536Metric:1RXpackets:0errors:0dropped:0overruns:0frame:0TXpackets:0errors:0dropped:0overruns:0carrier:0collisions:0txqueuelen:1RXbytes:0(0.0B)TXbytes:0(0.0B)

在exodus也做類似操作屿附,在exodus中ping一下10.1.90.2郎逃,發(fā)現(xiàn)是通的。

并在各自容器中也ping一下挺份,檢查是否跨主機互通褒翰。

最后編輯于
?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市匀泊,隨后出現(xiàn)的幾起案子优训,更是在濱河造成了極大的恐慌,老刑警劉巖探赫,帶你破解...
    沈念sama閱讀 218,036評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件型宙,死亡現(xiàn)場離奇詭異撬呢,居然都是意外死亡伦吠,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,046評論 3 395
  • 文/潘曉璐 我一進店門魂拦,熙熙樓的掌柜王于貴愁眉苦臉地迎上來毛仪,“玉大人,你說我怎么就攤上這事芯勘∠溲ィ” “怎么了?”我有些...
    開封第一講書人閱讀 164,411評論 0 354
  • 文/不壞的土叔 我叫張陵荷愕,是天一觀的道長衡怀。 經(jīng)常有香客問我,道長安疗,這世上最難降的妖魔是什么抛杨? 我笑而不...
    開封第一講書人閱讀 58,622評論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮荐类,結果婚禮上怖现,老公的妹妹穿的比我還像新娘。我一直安慰自己玉罐,他們只是感情好屈嗤,可當我...
    茶點故事閱讀 67,661評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著吊输,像睡著了一般饶号。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上季蚂,一...
    開封第一講書人閱讀 51,521評論 1 304
  • 那天讨韭,我揣著相機與錄音脂信,去河邊找鬼。 笑死透硝,一個胖子當著我的面吹牛狰闪,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播濒生,決...
    沈念sama閱讀 40,288評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼埋泵,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了罪治?” 一聲冷哼從身側(cè)響起丽声,我...
    開封第一講書人閱讀 39,200評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎觉义,沒想到半個月后雁社,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,644評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡晒骇,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,837評論 3 336
  • 正文 我和宋清朗相戀三年霉撵,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片洪囤。...
    茶點故事閱讀 39,953評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡徒坡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出瘤缩,到底是詐尸還是另有隱情喇完,我是刑警寧澤,帶...
    沈念sama閱讀 35,673評論 5 346
  • 正文 年R本政府宣布剥啤,位于F島的核電站锦溪,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏府怯。R本人自食惡果不足惜刻诊,卻給世界環(huán)境...
    茶點故事閱讀 41,281評論 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望富腊。 院中可真熱鬧坏逢,春花似錦、人聲如沸赘被。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,889評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽民假。三九已至浮入,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間羊异,已是汗流浹背事秀。 一陣腳步聲響...
    開封第一講書人閱讀 33,011評論 1 269
  • 我被黑心中介騙來泰國打工彤断, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人易迹。 一個月前我還...
    沈念sama閱讀 48,119評論 3 370
  • 正文 我出身青樓宰衙,卻偏偏與公主長得像,于是被迫代替她去往敵國和親睹欲。 傳聞我的和親對象是個殘疾皇子供炼,可洞房花燭夜當晚...
    茶點故事閱讀 44,901評論 2 355

推薦閱讀更多精彩內(nèi)容