記jupyter-notebook linux下 跨機(jī)器 環(huán)境遷移

背景:

? ? 公司老集群升級( CHD5升級到CDH6)骏啰,集群資源重新分配判耕。原來本人負(fù)責(zé)的提數(shù)任務(wù)(jupyter是提數(shù)使用的工具),需要另在一臺機(jī)器安裝jupyter并搭建jupyter運行環(huán)境翘骂,以下為整個流程的詳細(xì)記錄帚豪,如有更方便、易行的辦法草丧,歡迎討論。

? ? 1.jupyter一直掛載在老機(jī)器后臺方仿,查看jupyter掛載進(jìn)程:ps -ef | grep jupyter

進(jìn)程信息

? ? 2.conda env list? 查看列表中的所有運行環(huán)境固棚,并且找到j(luò)upyter的運行環(huán)境仙蚜。

3.在對應(yīng)環(huán)境目錄下找到依賴包信息此洲,一般都在環(huán)境目錄下:requirement.txt

4.在要遷移的機(jī)器上創(chuàng)建對應(yīng)環(huán)境并指定一致的python版本(需要在老機(jī)器上切換到j(luò)upyter的對應(yīng)運行環(huán)境并查看對應(yīng)python版本): conda create -n 虛擬環(huán)境名稱 python=2.7?

5.在新創(chuàng)建的環(huán)境下創(chuàng)建依賴包信息文件:vi xxxx.txt 。將原環(huán)境下的依賴包信息copy到該文件下 :wq 保存并退出委粉。

????使用pip install -r xxxx.txt -i https://pypi.tuna.tsinghua.edu.cn/simple?

? ? -i-指定鏡像地址采用的是清華鏡像? ??

????若有安裝依賴報錯信息(極大原因是版本過舊)呜师,百度找到對應(yīng)可用版本,修改xxxx.txt依賴包信息汁汗,直至安裝成功。這種辦法不能保證依賴包版本完全一致知牌,如何跨機(jī)器 進(jìn)行完全一致的環(huán)境遷移也是困擾我的問題斤程,有了解的朋友扁藕,請指教

6.Linux服務(wù)器上配置Jupyter并在后臺運行

https://blog.csdn.net/qq_41699621/article/details/103064684

上圖是之前老機(jī)器上 采用的json文件格式生成的jupyter配置文件亿柑,這部分是為了本人回溯問題望薄。

大家參考上面貼的博主連接,采用其二照卦、三式矫、四步驟

采用.py文件的格式生成的jupyter配置文件就可以乡摹,親測可行役耕。

執(zhí)行到第七步:

? ? 按照上面的鏈接的掛載操作,會將home目錄暴露出來聪廉。所以在服務(wù)器后臺掛載jupyter 進(jìn)程時瞬痘,可以將指定目錄作為jupyter web端啟動后的默認(rèn)目錄(避免了jupyter啟動后的web端的操作者 對home目錄 有風(fēng)險操作)故慈,并可以指定log存放的地址

附加:查到要kill掉的進(jìn)程PID,然后kill 進(jìn)程的pid number:kill xxx

7.瀏覽器輸入遷移的機(jī)器 host:端口號? 測試jupyter是否搭建成功框全!

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末察绷,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子津辩,更是在濱河造成了極大的恐慌拆撼,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,185評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件喘沿,死亡現(xiàn)場離奇詭異闸度,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)蚜印,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,652評論 3 393
  • 文/潘曉璐 我一進(jìn)店門莺禁,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人窄赋,你說我怎么就攤上這事哟冬。” “怎么了忆绰?”我有些...
    開封第一講書人閱讀 163,524評論 0 353
  • 文/不壞的土叔 我叫張陵浩峡,是天一觀的道長。 經(jīng)常有香客問我错敢,道長红符,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,339評論 1 293
  • 正文 為了忘掉前任伐债,我火速辦了婚禮预侯,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘峰锁。我一直安慰自己萎馅,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,387評論 6 391
  • 文/花漫 我一把揭開白布虹蒋。 她就那樣靜靜地躺著糜芳,像睡著了一般。 火紅的嫁衣襯著肌膚如雪魄衅。 梳的紋絲不亂的頭發(fā)上峭竣,一...
    開封第一講書人閱讀 51,287評論 1 301
  • 那天,我揣著相機(jī)與錄音晃虫,去河邊找鬼皆撩。 笑死,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的扛吞。 我是一名探鬼主播呻惕,決...
    沈念sama閱讀 40,130評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼滥比!你這毒婦竟也來了亚脆?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,985評論 0 275
  • 序言:老撾萬榮一對情侶失蹤盲泛,失蹤者是張志新(化名)和其女友劉穎濒持,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體寺滚,經(jīng)...
    沈念sama閱讀 45,420評論 1 313
  • 正文 獨居荒郊野嶺守林人離奇死亡弥喉,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,617評論 3 334
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了玛迄。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片由境。...
    茶點故事閱讀 39,779評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖蓖议,靈堂內(nèi)的尸體忽然破棺而出虏杰,到底是詐尸還是另有隱情,我是刑警寧澤勒虾,帶...
    沈念sama閱讀 35,477評論 5 345
  • 正文 年R本政府宣布纺阔,位于F島的核電站,受9級特大地震影響修然,放射性物質(zhì)發(fā)生泄漏笛钝。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,088評論 3 328
  • 文/蒙蒙 一愕宋、第九天 我趴在偏房一處隱蔽的房頂上張望玻靡。 院中可真熱鬧,春花似錦中贝、人聲如沸囤捻。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,716評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽蝎土。三九已至,卻和暖如春绣否,著一層夾襖步出監(jiān)牢的瞬間誊涯,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,857評論 1 269
  • 我被黑心中介騙來泰國打工蒜撮, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留暴构,地道東北人。 一個月前我還...
    沈念sama閱讀 47,876評論 2 370
  • 正文 我出身青樓,卻偏偏與公主長得像丹壕,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子薇溃,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,700評論 2 354

推薦閱讀更多精彩內(nèi)容

  • jupyter notebook是交互式的Python運行環(huán)境菌赖,可以把它看做是一張草稿紙,你可以通過它來進(jìn)行你的思...
    resolvewang閱讀 26,606評論 5 16
  • 如何在使用Jupyter Notebook時,解決Python虛擬環(huán)境間的切換問題策幼?本文一步步幫你拆解邑时。希望你能夠...
    王樹義閱讀 81,474評論 9 45
  • 久違的晴天,家長會特姐。 家長大會開好到教室時晶丘,離放學(xué)已經(jīng)沒多少時間了。班主任說已經(jīng)安排了三個家長分享經(jīng)驗唐含。 放學(xué)鈴聲...
    飄雪兒5閱讀 7,523評論 16 22
  • 今天感恩節(jié)哎浅浮,感謝一直在我身邊的親朋好友。感恩相遇捷枯!感恩不離不棄滚秩。 中午開了第一次的黨會,身份的轉(zhuǎn)變要...
    迷月閃星情閱讀 10,564評論 0 11
  • 可愛進(jìn)取淮捆,孤獨成精郁油。努力飛翔,天堂翱翔攀痊。戰(zhàn)爭美好桐腌,孤獨進(jìn)取。膽大飛翔苟径,成就輝煌哩掺。努力進(jìn)取,遙望涩笤,和諧家園嚼吞。可愛游走...
    趙原野閱讀 2,727評論 1 1