場(chǎng)景描述
image.png
linux上部署vxlan涉及兩個(gè)部分：
- overlay網(wǎng)絡(luò)配置
- vxlan隧道
overlay網(wǎng)絡(luò)要支持隨意配置且與主機(jī)網(wǎng)絡(luò)隔離夷陋，vxlan隧道要使用本機(jī)IP地址作為vtep ip督怜。
網(wǎng)絡(luò)隔離顯然要使用netns，當(dāng)然我們也可以使用docker間接使用netns。
開(kāi)始之前
- 內(nèi)核vxlan module啟用的端口設(shè)置為4789
cat /sys/module/vxlan/parameters/udp_port
rmmod vxlan && modprobe vxlan udp_port=4789
- 放通iptables
iptables -t filter -I FORWARD -j ACCEPT
vxlan組網(wǎng)的幾種方案
以本地接口地址為192.12.34.2/24, overlay遠(yuǎn)端地址為10.1.1.14舉例忍级。
路由指向vxlan隧道（不推薦）
image.png
- 路由指向vxlan隧道
- 配置靜態(tài)ARP作為內(nèi)層目的MAC失球，進(jìn)入隧道后直接封裝vxlan報(bào)文轉(zhuǎn)發(fā)
命令配置示例：
# S1: 配置overlay地址臼寄，IP地址配置到任意接口即可
ip addr add 192.12.34.2/24 dev lo
# S2: 創(chuàng)建vxlan隧道
ip link add vxlan_tunnel type vxlan id 67185 remote 10.29.46.21 local 10.22.0.47 dstport 4789 dev eth1
ip link set vxlan_tunnel up
ip link set dev vxlan_tunnel addr 00:12:34:56:78:90
# S3: 配置路由
ip route add 10.1.0.0/16 dev vxlan_tunnel
# S4: 配置靜態(tài)ARP
ip neigh add 10.1.1.14 lladdr 1a:1b:1c:1d:1e:1f dev vxlan_tunnel
# ping
ping 10.1.1.14 -I192.12.34.2
方案缺陷
- 無(wú)法使用netns
- vxlan隧道必須綁定本地接口地址eth1霸奕，所以vxlan隧道不能使用netns
- overlay路由指向vxlan隧道，所以overlay地址必須跟vxlan隧道在同一個(gè)netns吉拳。既然vxlan隧道不能使用netns质帅，那overlay地址也不能使用netns。
- 必須配置ARP明細(xì)
vxlan隧道內(nèi)轉(zhuǎn)發(fā)依靠靜態(tài)ARP留攒，所以目的IP都需要配置靜態(tài)ARP煤惩。本例中10.1.0.0/16內(nèi)所有的IP都要配置靜態(tài)ARP，好在多個(gè)IP可以配置相同的mac地址炼邀，不會(huì)沖突# 多個(gè)IP可以配置相同的MAC地址 # ip neigh | grep 1a 10.1.1.14 dev vxlan_tunnel lladdr 1a:1b:1c:1d:1e:1f PERMANENT 10.1.1.15 dev vxlan_tunnel lladdr 1a:1b:1c:1d:1e:1f PERMANENT
二層橋接
image.png
linux通過(guò)veth和bridge連接兩個(gè)netns魄揉。我們自然想到了橋接的方案。橋接方案的轉(zhuǎn)發(fā)原理：
- overlay netns內(nèi)配置overlay地址和overlay互聯(lián)地址
- overlay netns內(nèi)拭宁，路由指向overlay互聯(lián)地址
- overlay互聯(lián)地址通過(guò)bridge與vxlan隧道二層打通
命令配置示例：
## s1: create netns, network, net-vpc<id>
ip netns add net-vpc67185
ip netns exec net-vpc67185 ip link set dev lo up
## s2: create bridge, br-vpc<id>
ip link add br-vpc67185 type bridge
ip link set dev br-vpc67185 up
## s3: create vxlan and attach to bridge
ip link add vxlan-vpc67185 type vxlan id 67185 remote 10.29.46.21 local 10.22.0.47 dstport 4789 dev eth1
ip link set vxlan-vpc67185 up
brctl addif br-vpc67185 vxlan-vpc67185
## s4: create veth, and attach to bridge and netns
ip link add tap-vpc67185 type veth peer name veth-vpc67185
ip link set veth-vpc67185 master br-vpc67185
ip link set veth-vpc67185 up
ip link set tap-vpc67185 name eth0 netns net-vpc67185
ip netns exec net-vpc67185 ip link set eth0 up
## s5: set mac
ip netns exec net-vpc67185 ip link set dev eth0 addr 00:12:34:56:78:90
## s6: set secondary ip address
ip netns exec net-vpc67185 ip addr add 169.254.0.201/24 dev eth0
## s7: set arp
ip netns exec net-vpc67185 ip neigh add 169.254.0.200 lladdr 1a:1b:1c:1d:1e:1f dev eth0
## s8: set ip and route
ip netns exec net-vpc67185 ip addr add 192.12.34.2/24 dev eth0
ip netns exec net-vpc67185 ip route add 0.0.0.0/0 via 169.254.0.200 src 192.12.34.2
## ping
ip netns exec net-vpc67185 ping 10.1.1.14
二層橋接方案的優(yōu)勢(shì)
- 與主機(jī)網(wǎng)絡(luò)空間隔離
- 主機(jī)netns下僅創(chuàng)建bridge和vxlan隧道什猖。bridge和vxlan隧道都不需配置IP地址
- overlay地址和路由都在獨(dú)立的netns下配置
- 僅需配置默認(rèn)路由
- 示例中配置了overlay靜態(tài)arp票彪，實(shí)際上overlay arp可以自學(xué)習(xí)
- 只需配置一條默認(rèn)路由即可
踩過(guò)的坑
- linux vxlan模塊默認(rèn)啟用的端口不是4789
- iptables默認(rèn)攔截了udp協(xié)議報(bào)文
- vxlan隧道dev錯(cuò)誤的指向了eth0，且eth0未配置IP地址不狮，此時(shí)雖然會(huì)封裝vxlan報(bào)文，但是會(huì)直接請(qǐng)求遠(yuǎn)端vtep的ARP
