PVE 安裝 LEDE 和 群暉 6.2（附改網(wǎng)卡e1000e詳細(xì)步驟）
準(zhǔn)備
- 安裝鏡像盤：U盤 需要大于1G
- pve系統(tǒng)默認(rèn)需要的占用空間 > 7G（系統(tǒng)） + 2G（swap）；剩余作為存儲(chǔ)空間周瞎；也可使用U盤作為硬盤安裝
- 主板如果都支持直通（vt-d）胁黑，那最好開啟直通： BIOS開啟vt-d驾窟，部分主板默認(rèn)開啟的
開始
- UEFI啟動(dòng)安裝盤。一路下一步，記得網(wǎng)關(guān)自己修改為路由的網(wǎng)關(guān)
直通
硬件直通需要主板和CPU 都支持 VT-d凸丸。
CPU：具體去intel 官網(wǎng)查詢相關(guān)參數(shù)。
主板：某些主板芯片intel官方文檔說明是不支持VT-d袱院，但是廠商會(huì)魔改讓其成支持VT-d屎慢，比如某些華擎B85支持，微星某些H87更新BIOS也有VT-d忽洛。
#修改啟動(dòng)
nano /etc/default/grub
找到：GRUB_CMDLINE_LINUX_DEFAULT="quiet"
# 修改為：
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on"
#amd cpu改為：
GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on"
#更新一下：
update-grub
執(zhí)行dmesg | grep -e DMAR -e IOMMU腻惠，如果沒有輸出，則表明存在問題欲虚。極有可能是bios設(shè)置的問題集灌，需要啟動(dòng)cpu的vt-D支持。
查看一下/etc/modules-load.d/modules.conf
#把以下內(nèi)容添加進(jìn)去复哆，如果沒有的話
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd
重啟即可開啟直通
配置
- 訪問https://[你的IP]:8006 欣喧，必須是http且端口為8006，chrome 可能不能訪問梯找，safari信任證書后可以訪問
- 創(chuàng)建一個(gè)虛擬機(jī)唆阿，最好標(biāo)注名字，然后分離/刪除不必要的硬件
- ssh上傳img到pve锈锤，mac用cyberduck驯鳖，img可以是Lede或者群暉引導(dǎo)的
- 轉(zhuǎn)換普通img為pve可用的硬盤鏡像
# 100是虛擬機(jī)id，創(chuàng)建虛擬機(jī)時(shí)久免，id默認(rèn)是從100開始的
root@pve:~# qm importdisk 100 ./xxx.img local-lvm
#顯示如下浅辙，則成功
Rounding up size to full physical extent 108.00 MiB
Logical volume "vm-100-disk-0" created.
- 選擇編號100 的虛擬機(jī) 硬件-未使用的硬盤X ,必須選擇SATA（不能學(xué)則IDE或者其它類型），編輯保存妄壶。
- 注意引導(dǎo)順序不對可能導(dǎo)致找不到啟動(dòng)盤而無限重啟
關(guān)于虛擬網(wǎng)卡的選擇
http://www.cnovirt.com/archives/382
證書
如果有自己的域名
- 證書
mac系統(tǒng)先安裝brew 安裝 cerbot
certbot --manual --preferred-challenges dns certonly --config-dir ~/Documents/letsencrypt --logs-dir ~/Documents/letsencrypt --work-dir ~/Documents/letsencrypt
# 去~/Documents/letsencrypt 找證書
linux系統(tǒng)
# 任意主機(jī)（linux）都可以獲取到證書
wget https://dl.eff.org/certbot-auto
chmod a+x ./certbot-auto
./certbot-auto --help
# 通過驗(yàn)證域名dns 發(fā)放證書摔握，不需要80/443端口
./certbot-auto --manual --preferred-challenges dns certonly
#按提示一路操作后，會(huì)得到證書（90天后失效丁寄，需要重新驗(yàn)證）
- Congratulations! Your certificate and chain have been saved at:
/etc/letsencrypt/live/xxx/fullchain.pem
Your key file has been saved at:
/etc/letsencrypt/live/xxx/privkey.pem
#進(jìn)入pve證書配置界面氨淌，上傳證書即可通過域名訪問
硬盤直通
前話
- PVE 其實(shí)最多只能設(shè)置 6個(gè)SATA 硬盤泊愧，來源官方https://forum.proxmox.com/threads/there-is-now-a-limit-of-virtio-devices-drives.9782/ 原話
You can have 4 IDE disks, 14 SCSI disks, 16 VIRTIO disks and 6 SATA disks (= 40 disks).
I really think this is enough.
但是下面也有人說可以直通SAS擴(kuò)展卡或者陣列卡實(shí)現(xiàn)掛載更多硬盤。有些主板是板載擴(kuò)展卡的可以嘗試直通試試盛正。
- 群暉可否識(shí)別的CSI 控制器
SCSI控制器|支持否|備注
|--- |--- |---|
LSI 53C895A | O
LSI 53C810 | O
VirtIO SCSI | O
VirtIO SCSI single | O | 不能識(shí)別SCSI 13
MegaRaid SAS 8708EM2 | X
VMWare PVSCIS | X - PVE不支持 軟陣列删咱，只支持硬陣列。比如大部分家用主板板載的支持的陣列都是軟陣列 參考https://forum.proxmox.com/threads/raid-not-detected.2437/豪筝，所以即使你在主板上做好陣列痰滋，pve也會(huì)被識(shí)別為單個(gè)硬盤。就問你氣不氣...
開始
# 列出硬盤续崖，并記錄id
ls /dev/disk/by-id
...
ata-WDC_WD30EURX-64HYZY0_WD-WCC4N6ZAHCE2
ata-WDC_WD30EURX-64HYZY0_WD-WCC4N6ZAHCE2-part1
ata-WDC_WD30EURX-64HYZY0_WD-WCC4N6ZAHCE2-part2
ata-WDC_WD30EURX-64HYZY0_WD-WCC4N6ZAHCE2-part3
ata-WDC_WD30EURX-64HYZY0_WD-WCC4N7Z1KK95
ata-WDC_WD30EURX-64HYZY0_WD-WCC4N7Z1KK95-part1
ata-WDC_WD30EURX-64HYZY0_WD-WCC4N7Z1KK95-part2
ata-WDC_WD30EURX-64HYZY0_WD-WCC4N7Z1KK95-part3
ata-WDC_WD30EURX-64HYZY0_WD-WCC4NCTYTJ7X
ata-WDC_WD30EURX-64HYZY0_WD-WCC4NCTYTJ7X-part1
ata-WDC_WD30EURX-64HYZY0_WD-WCC4NCTYTJ7X-part2
ata-WDC_WD30EURX-64HYZY0_WD-WCC4NCTYTJ7X-part3
ata-WDC_WD30EURX-64HYZY0_WD-WCC4NHHSK72U
ata-WDC_WD30EURX-64HYZY0_WD-WCC4NHHSK72U-part1
ata-WDC_WD30EURX-64HYZY0_WD-WCC4NHHSK72U-part2
ata-WDC_WD30EURX-64HYZY0_WD-WCC4NHHSK72U-part3
ata-WDC_WD30EURX-64HYZY0_WD-WCC4NHHSKD3E
ata-WDC_WD30EURX-64HYZY0_WD-WCC4NHHSKD3E-part1
ata-WDC_WD30EURX-64HYZY0_WD-WCC4NHHSKD3E-part2
ata-WDC_WD30EURX-64HYZY0_WD-WCC4NHHSKD3E-part3
...
nvme-KINGBANK_KP230_240GB_I24111J000630
控制臺(tái)命令
qm set 101 -sata[硬盤號] /dev/disk/by-id/[你的硬盤id]
如下
#1
qm set 101 -sata1 /dev/disk/by-id/ata-WDC_WD30EURX-64HYZY0_WD-WCC4N6ZAHCE2
#2
qm set 101 -sata2 /dev/disk/by-id/ata-WDC_WD30EURX-64HYZY0_WD-WCC4NCTYTJ7X
#3
qm set 101 -sata3 /dev/disk/by-id/ata-WDC_WD30EURX-64HYZY0_WD-WCC4NHHSK72U
#4
qm set 101 -sata4 /dev/disk/by-id/ata-WDC_WD30EURX-64HYZY0_WD-WCC4NHHSKD3E
#5
qm set 101 -sata5 /dev/disk/by-id/ata-WDC_WD30EURX-64HYZY0_WD-WCC4N7Z1KK95
# 如果已經(jīng)設(shè)置sata0 為群暉引導(dǎo)敲街，就不要把再設(shè)置sata0了 。
qm set 101 -ide0 /dev/disk/by-id/ata-KING_SHARE_200016G_E083MSRC1064
# 下面命令會(huì)失敗严望， 因?yàn)橹荒茉O(shè)置6個(gè)sata多艇，也就是0～5
qm set 101 -ide1 /dev/disk/by-id/nvme-KINGBANK_KP230_240GB_I24111J000630
完成后，PVE界面可見對應(yīng)硬盤像吻。
PS:其實(shí)我認(rèn)為下面的操作感覺不是真正一樣上的直通峻黍，因?yàn)椴]有直通PCI控制器
修改 網(wǎng)卡intel網(wǎng)卡 e1000 為e1000e（群暉6.2.2才能識(shí)別）
# 101為虛擬機(jī)id，根據(jù)自己實(shí)際情況修改
#首先要新建虛擬機(jī)并且必須網(wǎng)卡選擇e1000.（不需要啟動(dòng)）
qm showcmd 101
# 記錄輸出值拨匆，只需要注意最后一個(gè) “-netdev” 開始的字段姆涩，如下
/usr/bin/kvm -id 101 -name DS3617xs ... ... -netdev 'type=tap,id=net0,ifname=tap101i0,script=/var/lib/qemu-server/pve-bridge,downscript=/var/lib/qemu-server/pve-bridgedown' -device 'e1000,mac=00:11:32:33:44:55,netdev=net0,bus=pci.0,addr=0x12,id=net0' -machine 'type=pc'
# 按下方例子刪除一些無用字段，行首添加“args:” ,修改“e1000” 為 “e1000e”惭每，保存（建議用vscode）
args: -netdev 'type=tap,id=net0,ifname=tap101i0' -device 'e1000e,mac=00:11:32:33:44:55,netdev=net0,bus=pci.0,addr=0x12,id=net0,bootindex=300'
# 修改id 為101的配置文件
nano /etc/pve/qemu-server/101.conf
# 只需要首行插入一行 剛才修改的字段骨饿，注意要換行诉儒，不要和原本的配置文件粘在一起了
# 去pve 對應(yīng)虛擬機(jī)-硬件界面刪除E1000網(wǎng)卡耕渴。然后啟動(dòng)虛擬機(jī)堂鲤，如果不報(bào)錯(cuò)誤替蔬，應(yīng)該就會(huì)有網(wǎng)絡(luò)了。
# （硬件-選項(xiàng)界面不會(huì)顯示E1000e網(wǎng)卡的麻敌，如果啟動(dòng)成功后實(shí)際是加載了虛擬網(wǎng)卡的）
