遷移測試服務(wù) 筆記

需求:分診算法所使用的模型占用內(nèi)存較多积担,當(dāng)前test服務(wù)器的內(nèi)存不足,需要將服務(wù)遷移到新的learn服務(wù)器们豌,重新創(chuàng)建RPC服務(wù)接口交惯。

原服務(wù)器:test
新服務(wù)器:learn

Service

1. 工程配置

在新learn服務(wù)器中,下載problem_triage工程变秦,執(zhí)行clone命令成榜,同時切換當(dāng)前服務(wù)所在的分支feature/rough_to_fine_svm

git clone git@git.cxyx.me:python/problem_triage.git
git branch -a
git checkout feature/rough_to_fine_svm

通過三個環(huán)境腳本,安裝所依賴的Python庫蹦玫,其中赎婚,在更新環(huán)境(update)時雨饺,需要注意。

source scripts/env_prepare.sh  # 準(zhǔn)備環(huán)境
source scripts/env_activate.sh  # 激活環(huán)境
source scripts/env_update.sh  # 更新環(huán)境

全部更新完成的效果:

update

1.1 導(dǎo)出版本

提前準(zhǔn)備待更新的Python庫惑淳,在原test服務(wù)器的工程中,使用freeze命令導(dǎo)出到requirements.txt文件中:

pip freeze >requirements.txt

1.2 缺少smart_update

在執(zhí)行env_update時饺窿,無法找到smart_update.py歧焦,則需要提前下載春雨的cy-pypi源。

同時肚医,設(shè)置當(dāng)前的pip版本為1.5.6绢馍,因為春雨虛擬環(huán)境(env)的安裝腳本是基于pip的1.5.6版本:

pip install pip==1.5.6

在更新Python版本時,除了使用env_update腳本肠套,也可以直接使用pip命令:

pip install -r requirements.txt

1.3 pip源缺少庫版本

如果當(dāng)前的pip源提供的依賴庫的版本較低舰涌,可以使用其他的pip源,如阿里云:

pip install Markdown==2.6.8 -i http://mirrors.aliyun.com/pypi/simple

當(dāng)pip版本較高時你稚,如9.0.1瓷耙,使用陌生的pip源會報錯:

Collecting tensorflow
  The repository located at mirrors.aliyun.com is not a trusted or secure host and is being ignored. If this repository is available via HTTPS it is recommended to use HTTPS instead, otherwise you may silence this warning and allow it anyways with '--trusted-host mirrors.aliyun.com'.
  Could not find a version that satisfies the requirement tensorflow (from versions: )
No matching distribution found for tensorflow

需要在命令尾部,添加信任pip源的參數(shù):

pip install Markdown==2.6.8 -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com

1.4 pip版本過低

如果提示錯誤https替換http刁赖,如安裝TensorFlow搁痛,即:

Downloading/unpacking tensorflow
  http://mirrors.aliyun.com/pypi/simple/tensorflow/ uses an insecure transport scheme (http). Consider using https if mirrors.aliyun.com has it available
  Could not find any downloads that satisfy the requirement tensorflow
Cleaning up...
No distributions at all found for tensorflow
Storing debug log for failure in /home/classify/.pip/pip.log

原因是TensorFlow庫需要高版本的pip庫才能安裝,當(dāng)前pip的版本較低宇弛,默認(rèn)是1.5.6鸡典,需要更新pip的版本:

pip install --upgrade pip

1.5 安裝setuptools

在安裝gensim時,錯誤信息提示:setuptools版本過低枪芒,需要重新安裝setuptools彻况。

The required version of setuptools (>=1.3.2) is not available,
and can't be installed while this script is running. Please
install a more recent version first, using
'easy_install -U setuptools'.

服務(wù)器無法使用easy_install,使用pip更新安裝setuptools舅踪。

pip install setuptools --upgrade

如果纽甘,當(dāng)前源的setuptools版本較低,更換阿里云的源硫朦,重新安裝贷腕。


2. 服務(wù)配置

在新learn服務(wù)器中,需要復(fù)制算法模型與配置服務(wù)接口咬展。

2.1 復(fù)制模型

需要復(fù)制粗分模型與Word2Vec模型泽裳,位置:

/home/cxyx/workspace/problem_triage/triage/data/experiments/model/rnn/runs
/home/cxyx/workspace/problem_triage/triage/data/adult/model/rnn/runs
/home/cxyx/workspace/problem_triage/word2vec/data/model

將文件壓縮傳輸,再解壓文件

zip -r ex_fine_model_0802.zip ex_fine_model_0802
unzip ex_fine_model_0802.zip

如果沒有unzip命令破婆,則需要安裝

sudo yum install -y unzip zip

如果無法安裝unzip命令涮总,則使用tar打包,傳輸祷舀,不壓縮:

tar cvf 1493802466.tar 1493802466
tar xvf 1493802466.tar

使用python的HTTP接口瀑梗,在服務(wù)器之間傳輸烹笔,進入文件所在目錄,啟動服務(wù)接口抛丽。

python -m SimpleHTTPServer 9001

在目標(biāo)服務(wù)器的對應(yīng)位置谤职,下載文件,使用AB Test模式亿鲜,需要復(fù)制兩個算法的模型文件允蜈,共四個文件。

wget --limit-rate=3000k test:9001/ex_rough_model_0802.zip
wget --limit-rate=3000k test:9001/ex_w2v_model_0802.zip

wget --limit-rate=3000k test:9001/1493802466.zip
wget --limit-rate=3000k test:9001/word2vec_for_triage.zip

解壓到對應(yīng)目錄即可蒿柳。

2.2 配置服務(wù)

在原test服務(wù)器中饶套,找到未添加至工程的配置文件

git status
status

在工程的.gitignore文件中,找到未添加至工程的配置文件

需要修改三個配置文件垒探,即settings.py妓蛮、config.inisupervisord.conf圾叼。

settings.py負(fù)責(zé)管理log的存儲位置蛤克,將項目中的settings.test.py復(fù)制一份,即可褐奥,測試用test咖耘,線上用online:

cp settings.test.py settings.py

config.ini存放服務(wù)的socket地址或者端口,用于服務(wù)的網(wǎng)絡(luò)訪問撬码,備份位于

problem_triage/conf/rpc

將其中的config.test.ini復(fù)制成本地的config.ini儿倒,即可。

supervisord.conf存放服務(wù)的進程信息呜笑,啟動worker的數(shù)量夫否,備份位于:

problem_triage/conf/supervisor

將其中的supervisord.test.conf復(fù)制成本地的supervisord.conf,即可叫胁。

啟停服務(wù)的腳本:

sh control_lb.sh stop
sh scripts/sup_stop.sh
sh scripts/sup_start.sh
sh control_lb.sh start

RPC服務(wù)的監(jiān)控面板凰慈,https://devops.cxyx.me/dashboard/rpc/

image.png
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市驼鹅,隨后出現(xiàn)的幾起案子微谓,更是在濱河造成了極大的恐慌,老刑警劉巖输钩,帶你破解...
    沈念sama閱讀 218,122評論 6 505
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件豺型,死亡現(xiàn)場離奇詭異,居然都是意外死亡买乃,警方通過查閱死者的電腦和手機姻氨,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,070評論 3 395
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來剪验,“玉大人肴焊,你說我怎么就攤上這事前联。” “怎么了娶眷?”我有些...
    開封第一講書人閱讀 164,491評論 0 354
  • 文/不壞的土叔 我叫張陵似嗤,是天一觀的道長。 經(jīng)常有香客問我届宠,道長双谆,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,636評論 1 293
  • 正文 為了忘掉前任席揽,我火速辦了婚禮,結(jié)果婚禮上谓厘,老公的妹妹穿的比我還像新娘幌羞。我一直安慰自己,他們只是感情好竟稳,可當(dāng)我...
    茶點故事閱讀 67,676評論 6 392
  • 文/花漫 我一把揭開白布属桦。 她就那樣靜靜地躺著,像睡著了一般他爸。 火紅的嫁衣襯著肌膚如雪聂宾。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,541評論 1 305
  • 那天诊笤,我揣著相機與錄音系谐,去河邊找鬼。 笑死讨跟,一個胖子當(dāng)著我的面吹牛纪他,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播晾匠,決...
    沈念sama閱讀 40,292評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼茶袒,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了凉馆?” 一聲冷哼從身側(cè)響起薪寓,我...
    開封第一講書人閱讀 39,211評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎澜共,沒想到半個月后向叉,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,655評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡咳胃,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,846評論 3 336
  • 正文 我和宋清朗相戀三年植康,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片展懈。...
    茶點故事閱讀 39,965評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡销睁,死狀恐怖供璧,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情冻记,我是刑警寧澤睡毒,帶...
    沈念sama閱讀 35,684評論 5 347
  • 正文 年R本政府宣布,位于F島的核電站冗栗,受9級特大地震影響演顾,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜隅居,卻給世界環(huán)境...
    茶點故事閱讀 41,295評論 3 329
  • 文/蒙蒙 一钠至、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧胎源,春花似錦棉钧、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,894評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至万栅,卻和暖如春佑钾,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背烦粒。 一陣腳步聲響...
    開封第一講書人閱讀 33,012評論 1 269
  • 我被黑心中介騙來泰國打工休溶, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人扰她。 一個月前我還...
    沈念sama閱讀 48,126評論 3 370
  • 正文 我出身青樓邮偎,卻偏偏與公主長得像,于是被迫代替她去往敵國和親义黎。 傳聞我的和親對象是個殘疾皇子禾进,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,914評論 2 355

推薦閱讀更多精彩內(nèi)容