背景:
? ? 公司老集群升級( CHD5升級到CDH6)骏啰,集群資源重新分配判耕。原來本人負(fù)責(zé)的提數(shù)任務(wù)(jupyter是提數(shù)使用的工具),需要另在一臺機(jī)器安裝jupyter并搭建jupyter運行環(huán)境翘骂,以下為整個流程的詳細(xì)記錄帚豪,如有更方便、易行的辦法草丧,歡迎討論。
? ? 1.jupyter一直掛載在老機(jī)器后臺方仿,查看jupyter掛載進(jìn)程:ps -ef | grep jupyter
? ? 2.conda env list? 查看列表中的所有運行環(huán)境固棚,并且找到j(luò)upyter的運行環(huán)境仙蚜。
3.在對應(yīng)環(huán)境目錄下找到依賴包信息此洲,一般都在環(huán)境目錄下:requirement.txt
4.在要遷移的機(jī)器上創(chuàng)建對應(yīng)環(huán)境并指定一致的python版本(需要在老機(jī)器上切換到j(luò)upyter的對應(yīng)運行環(huán)境并查看對應(yīng)python版本): conda create -n 虛擬環(huán)境名稱 python=2.7?
5.在新創(chuàng)建的環(huán)境下創(chuàng)建依賴包信息文件:vi xxxx.txt 。將原環(huán)境下的依賴包信息copy到該文件下 :wq 保存并退出委粉。
????使用pip install -r xxxx.txt -i https://pypi.tuna.tsinghua.edu.cn/simple?
? ? -i-指定鏡像地址采用的是清華鏡像? ??
????若有安裝依賴報錯信息(極大原因是版本過舊)呜师,百度找到對應(yīng)可用版本,修改xxxx.txt依賴包信息汁汗,直至安裝成功。這種辦法不能保證依賴包版本完全一致知牌,如何跨機(jī)器 進(jìn)行完全一致的環(huán)境遷移也是困擾我的問題斤程,有了解的朋友扁藕,請指教。
6.Linux服務(wù)器上配置Jupyter并在后臺運行
https://blog.csdn.net/qq_41699621/article/details/103064684
上圖是之前老機(jī)器上 采用的json文件格式生成的jupyter配置文件亿柑,這部分是為了本人回溯問題望薄。
大家參考上面貼的博主連接,采用其二照卦、三式矫、四步驟
采用.py文件的格式生成的jupyter配置文件就可以乡摹,親測可行役耕。
執(zhí)行到第七步:
? ? 按照上面的鏈接的掛載操作,會將home目錄暴露出來聪廉。所以在服務(wù)器后臺掛載jupyter 進(jìn)程時瞬痘,可以將指定目錄作為jupyter web端啟動后的默認(rèn)目錄(避免了jupyter啟動后的web端的操作者 對home目錄 有風(fēng)險操作)故慈,并可以指定log存放的地址
附加:查到要kill掉的進(jìn)程PID,然后kill 進(jìn)程的pid number:kill xxx
7.瀏覽器輸入遷移的機(jī)器 host:端口號? 測試jupyter是否搭建成功框全!