使用nova管理docker的container最蕾,為了省事盈咳,沒想到踩到了不少坑痛阻。
第一坑
nova-docker的branch選擇,擔(dān)心有兼容問題蚁袭,選擇了目前openstack的stable/kilo版本征懈,但是在使用中,該版本支持的docker remote api版本只到 1.13 揩悄。完全不符合目前將設(shè)備節(jié)點(diǎn)映射到容器中的需求卖哎。
解決
對比了stable/liberty 版本和當(dāng)前版本的差異,還在可手動(dòng)處理的范圍呢删性,而且支持了docker remote api 的1.19版本亏娜。里面有了host-config接口 ,能夠傳遞較多的參數(shù)蹬挺,比如現(xiàn)在需要devices接口维贺。合并中比較順利,從/stable/kilo版本中簽出了一個(gè)dev分支巴帮,將/stable/liberty合并到當(dāng)前版本溯泣,就是一些細(xì)致的活虐秋。需要對比調(diào)用接口的變化,如果目前使用的公共庫不支持垃沦,那就換回之前的版本客给。先對著git 的commit列了一個(gè)清單,挨個(gè)對比就好栏尚。對比中,開源軟件的改進(jìn)有部分也太糙了只恨,有些依賴說改就改(其實(shí)有很多完全沒有必要修改)译仗,但是基礎(chǔ)庫不能隨意發(fā)生版本變化, 因?yàn)椴淮_定在新基礎(chǔ)庫上會(huì)發(fā)生什么情況官觅。
基礎(chǔ)庫不能隨便動(dòng)的前提下纵菌,采用手動(dòng)合并新版本的方法是可行的,而且在使用中發(fā)現(xiàn)好多改動(dòng)其實(shí)沒啥必要休涤。還有就是先把改動(dòng)列出來咱圆,一個(gè)一個(gè)對比,清晰明確
第二坑
映射驅(qū)動(dòng)至container 內(nèi)部功氨,使用的device接口序苏,傳入一個(gè)做了軟鏈接的文件路徑,實(shí)際的路徑指向了dev目錄下的設(shè)備節(jié)點(diǎn)捷凄。傳入后docker提示找不到文件忱详,可是文件在本地真實(shí)存在。查詢后是docker的一個(gè)bug跺涤,對于軟鏈接的路徑無法識(shí)別匈睁。
解決
改用Python 中的OS.readlink 獲取真實(shí)路徑拼接,傳給docker
多看官方的文檔桶错,特別是github中的issus航唆,會(huì)有驚喜
第三坑
按照官方文檔說明,docker remote api的文檔格式院刁,dict方式傳遞了參數(shù)糯钙,
args[devices] = { "PathOnHost": "/dev/deviceName", "PathInContainer": "/dev/deviceName", "CgroupPermissions": "mrw"}
但是docker提示error gathering device information while adding custom device “” ,lstat :no such file or directory
解決
增加打印調(diào)試退腥,傳遞參數(shù)沒有問題超营。半天沒找到問題,最后看看nova-py的文檔[1]
阅虫。里面提到了使用"xx:xx:xx"格式演闭,抱著試試的心態(tài)結(jié)果好了。
有時(shí)候需要看所有組件的文檔颓帝,出了問題第一時(shí)間在文檔中尋找答案
第四坑
掛載 volumes 米碰,在docker命令行就是簡單的一個(gè)-v就能搞定的事情窝革,但是在調(diào)用api顯示的時(shí)候就會(huì)比較麻煩,需要在create時(shí)吕座,將 volumes中設(shè)置好host上的路徑虐译。然后在binds 中傳遞進(jìn)去綁定的規(guī)則。(這里我沒傳遞dict吴趴,直接傳了一個(gè)list漆诽。)container啟動(dòng)后,docker inspect查看锣枝,發(fā)現(xiàn)volumes已經(jīng)有了相關(guān)信息厢拭,binds信息也有了,但是docker exec xxx /bin/sh 后還是沒能成功映射目錄撇叁。
解決
最后抱著試試的心態(tài)供鸠,將之前binds中的host和container位置換了一下,問題解決了陨闹。最后結(jié)構(gòu)如下:
{0}:/var/log/mysql/:rw'.format(args['volumes’])
前面的才是host路徑楞捂,中間的是container路徑。
不要隨便就經(jīng)驗(yàn)思維認(rèn)為順序就是這樣趋厉,可以查文檔寨闹,可以找,再不濟(jì)君账,也可以手動(dòng)嘗試鼻忠。
- nova-py文檔 (http://docker-py.readthedocs.org/en/latest/)
- nova-remote-api (https://docs.docker.com/engine/reference/api/docker_remote_api_v1.19/)