K8s & K3s 集群中 Hlem 化部署 Harbor

Harbor 簡介

Harbor是VMware公司開源的企業(yè)級(jí)DockerRegistry項(xiàng)目获黔,其目標(biāo)是幫助用戶迅速搭建一個(gè)企業(yè)級(jí)的Dockerregistry服務(wù)。
它以Docker公司開源的registry為基礎(chǔ)熟妓,提供了管理UI聋伦,基于角色的訪問控制(Role Based Access Control),AD/LDAP集成、以及審計(jì)日志(Auditlogging) 等企業(yè)用戶需求的功能球昨,同時(shí)還原生支持中文。

架構(gòu)及組件

image
  • 主要組件包括proxy眨攘,他是一個(gè)nginx前端代理主慰,主要是分發(fā)前端頁面ui訪問和鏡像上傳和下載流量,上圖通過深藍(lán)色線標(biāo)志鲫售;
  • ui提供了一個(gè)web管理頁面河哑,當(dāng)然還包括了一個(gè)前端頁面和后端API,底層使用mysql數(shù)據(jù)庫龟虎;
  • registry是鏡像倉庫,負(fù)責(zé)存儲(chǔ)鏡像文件沙庐,當(dāng)鏡像上傳完畢后通過hook通知ui創(chuàng)建repositry鲤妥,上圖通過紅色線標(biāo)志佳吞,當(dāng)然registry的token認(rèn)證也是通過ui組件完成;
  • adminserver是系統(tǒng)的配置管理中心附帶檢查存儲(chǔ)用量棉安,ui個(gè)jobservice啟動(dòng)時(shí)候需要加載adminserver的配置底扳,通過灰色線標(biāo)志;
  • jobservice是負(fù)責(zé)鏡像復(fù)制工作的贡耽,他和registry通信衷模,從一個(gè)registry pull鏡像然后push到另一個(gè)registry,并記錄job_log蒲赂,上圖通過紫色線標(biāo)志阱冶;log是日志匯總組件,通過docker的log-dirver把日志匯總到一起滥嘴,通過藍(lán)色線條標(biāo)志木蹬。

依賴 & 部署

  • 底座環(huán)境: K8s/K3s
  • 軟件依賴: Helm3 & Git
  • 存儲(chǔ)依賴: Rook Ceph
# 配置 helm 源
helm repo add harbor https://helm.goharbor.io
helm repo update
helm pull harbor/harbor
tar xf harbor-x.x.x.tgz
  • 配置 PV & PVC

云原生的存儲(chǔ)類可以有多種選擇,nfs 或者 ceph 等多種類型的存儲(chǔ)若皱,本文選擇 rook 已經(jīng)在集群中配置好的存儲(chǔ)類進(jìn)行服務(wù)訪問镊叁,查看本地可用的 sc :

kubectl get sc
image
image
  • 部署檢查
# 0 部署
helm install harbor harbor
# 1 查看 pv & pvc
kubectl get pv -A | grep harbor
kubectl get pvc -A | grep harbor 
# 2 查看 pod
kubectl get pod -A | grep harbor 
# 3 查看 svc
kubectl get svc -A | grep harbor 
# 4 查看 ingress
kubectl get ingress -A | grep harbor 
image
  • Ingress 配置
    備注:helm 部署 harbor 以后,默認(rèn)的 Ingress 是不可用的走触,需要結(jié)合實(shí)際情況進(jìn)行配置晦譬,比如需要考慮到的問題有 Ingress-nginx 還是 treafik 的控制器控制的服務(wù)訪問,正如我的集群環(huán)境使用到的正是基于 K3s 集群的 treafik 負(fù)載均衡器互广,所以配置方式如下:
kubectl get ingress -n default     harbor-harbor-ingress -oyaml > harbor-core-ingress.yaml
kubectl get ingress -n default     harbor-harbor-ingress-notary -oyaml > harbor-harbor-notary-ingress.yaml

編輯 ingress 的負(fù)載映射如下:


image
kubectl apply -f harbor-core-ingress.yaml
kubectl apply -f harbor-harbor-notary-ingress.yaml
image

強(qiáng)調(diào)說明: 刪除無用信息敛腌,增加控制器字段,不要名稱沖突即可兜辞。

  • 瀏覽器訪問

配置訪問主機(jī)hosts:


image
image
image

插件 & 使用

  • docker添加harbor證書

對(duì)于需要使用harbor倉庫的節(jié)點(diǎn)迎瞧,都要添加harbor證書:

kubectl get secrets  harbor-harbor-ingress  -o jsonpath="{.data.ca\.crt}" | base64 --decode 
image

在邊緣節(jié)點(diǎn)添加證書,進(jìn)行登錄驗(yàn)證:

# 添加證書驗(yàn)證路徑
mkdir -p /etc/docker/certs.d/core.harbor.domain
# 追加上文證書到證書文件中
vi /etc/docker/certs.d/core.harbor.domain/ca.crt
# 追加域名到 /etc/hosts
vi /etc/hosts
image
[root@vm3290 tmp]# docker login core.harbor.domain -u admin                    
Password: 
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded
  • push插件
[root@vm3290 tmp]# helm plugin install https://github.com/chartmuseum/helm-push
Downloading and installing helm-push v0.9.0 ...
https://github.com/chartmuseum/helm-push/releases/download/v0.9.0/helm-push_0.9.0_linux_amd64.tar.gz
Installed plugin: push
[root@vm3290 tmp]# helm plugin ls
W0215 05:21:14.927672    4760 loader.go:223] Config not found: /etc/rancher/k3s/k3s.yaml
NAME    VERSION DESCRIPTION                      
push    0.9.0   Push chart package to ChartMuseum
image

拓展閱讀

  • harbor 進(jìn)行 helm 管理:
$helm plugin install https://github.com/chartmuseum/helm-push
$helm  repo add  mylibrary  http://core.harbor.domain/chartrepo/library --ca-file /etc/docker/certs.d/core.harbor.domain/ca.crt
$helm repo list
NAME    URL                                                   
stable  https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
local   http://127.0.0.1:8879/charts                          
mylibrary   http://xxxx/chartrepo/library               
bitnami https://charts.bitnami.com  
image
  • harbor 上傳 charts (helm3 不一定可行逸吵,需要結(jié)合不同的 helm 版本進(jìn)行分析):
helm fetch stable/redis-ha   #下載charts
helm push redis-ha-2.0.1.tgz  mylibrary   #上傳到私有倉庫
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末凶硅,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子扫皱,更是在濱河造成了極大的恐慌足绅,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,627評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件韩脑,死亡現(xiàn)場離奇詭異氢妈,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)段多,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,180評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門首量,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事加缘⊙夹穑” “怎么了?”我有些...
    開封第一講書人閱讀 169,346評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵拣宏,是天一觀的道長沈贝。 經(jīng)常有香客問我,道長勋乾,這世上最難降的妖魔是什么宋下? 我笑而不...
    開封第一講書人閱讀 60,097評(píng)論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮辑莫,結(jié)果婚禮上学歧,老公的妹妹穿的比我還像新娘。我一直安慰自己摆昧,他們只是感情好撩满,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,100評(píng)論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著绅你,像睡著了一般伺帘。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上忌锯,一...
    開封第一講書人閱讀 52,696評(píng)論 1 312
  • 那天伪嫁,我揣著相機(jī)與錄音,去河邊找鬼偶垮。 笑死张咳,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的似舵。 我是一名探鬼主播脚猾,決...
    沈念sama閱讀 41,165評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢(mèng)啊……” “哼砚哗!你這毒婦竟也來了龙助?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 40,108評(píng)論 0 277
  • 序言:老撾萬榮一對(duì)情侶失蹤蛛芥,失蹤者是張志新(化名)和其女友劉穎提鸟,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體仅淑,經(jīng)...
    沈念sama閱讀 46,646評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡称勋,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,709評(píng)論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了涯竟。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片赡鲜。...
    茶點(diǎn)故事閱讀 40,861評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡空厌,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出蝗蛙,到底是詐尸還是另有隱情蝇庭,我是刑警寧澤,帶...
    沈念sama閱讀 36,527評(píng)論 5 351
  • 正文 年R本政府宣布捡硅,位于F島的核電站,受9級(jí)特大地震影響盗棵,放射性物質(zhì)發(fā)生泄漏壮韭。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,196評(píng)論 3 336
  • 文/蒙蒙 一纹因、第九天 我趴在偏房一處隱蔽的房頂上張望喷屋。 院中可真熱鬧,春花似錦瞭恰、人聲如沸屯曹。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,698評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽恶耽。三九已至,卻和暖如春颜启,著一層夾襖步出監(jiān)牢的瞬間偷俭,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,804評(píng)論 1 274
  • 我被黑心中介騙來泰國打工缰盏, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留涌萤,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 49,287評(píng)論 3 379
  • 正文 我出身青樓口猜,卻偏偏與公主長得像负溪,于是被迫代替她去往敵國和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子济炎,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,860評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容