ModelScope 魔塔社區(qū)初探

本文嘗試在 macOS 上安裝 ModelScope 環(huán)境,進行簡單的環(huán)境配置和模型啟動涯穷。


ModelScope

安裝 conda

第一步涛癌,安裝 Python 環(huán)境,官方推薦用 Anaconda贾费,這是一個開源的 Python 發(fā)行版本,用來管理管理不同的包傅瞻,切換不同的環(huán)境亲澡。個人推薦用 miniconda,安裝包小很多耗啦,功能是一樣的凿菩。
安裝包下載地址:https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/
選擇自己需要的系統(tǒng)和python版本。
我選的是

Miniconda3-py39_23.3.1-0-MacOSX-arm64.pkg

其中pkg是可視化安裝包帜讲,sh是命令行安裝包衅谷,除了安裝方式有區(qū)別,別的沒啥區(qū)別似将。pkg包安裝過程如下获黔。

點擊繼續(xù)
點擊繼續(xù)
點擊繼續(xù)
點擊同意
點擊安裝
等待安裝
安裝成功,點擊關閉
base

現(xiàn)在打開終端在验,會看到在計算機名稱左側出現(xiàn)了 base玷氏,這是因為 conda 安裝成功后會自動進入默認虛擬環(huán)境 base,輸入 conda -V 可以看到 conda 版本腋舌,代表安裝成功盏触。

conda 的基本操作命令如下:

# 退出虛擬環(huán)境
conda deactivate

# 查看虛擬機環(huán)境
conda info -e

# 進入虛擬環(huán)境
conda activate base(虛擬環(huán)境名稱)

# 刪除虛擬環(huán)境
conda remove -n my_env --all

# 創(chuàng)建python虛擬環(huán)境
conda create --n my_env python=3.7

# 創(chuàng)建虛擬環(huán)境
conda create -n env_name

# 查看當前虛擬環(huán)境
conda create -n env_name

根據官方文檔,我們要在 arm 芯片的 macOS 上安裝的話块饺,不能用 Python3.7 而要用 Python3.8赞辩,所以創(chuàng)建虛擬環(huán)境的命令如下。

# 創(chuàng)建python虛擬環(huán)境
conda create -n modelscope python=3.8

# 進入虛擬環(huán)境
conda activate modelscope
輸入 y 繼續(xù)
創(chuàng)建虛擬環(huán)境成功

輸入 conda activate modelscope 進入該虛擬環(huán)境授艰。

modelscope

左邊的 base 變成了 modelscope辨嗽,說明成功。這時再查看 Python 版本想诅,成功從 base 環(huán)境的 3.9.16 切換成了 modelscope 環(huán)境的 3.8.16召庞。

安裝 PyTorch

接下來安裝 PyTorch,這是一個開源的 Python 機器學習庫来破,基于 Torch篮灼,用于自然語言處理等應用程序。安裝步驟也很簡單徘禁,直接在剛才的界面輸入下面的命令诅诱。

pip3 install torch torchvision torchaudio

conda 會開始安裝相關包,whl 包本質上是一個包含 py 文件和經過編譯的 pyd 文件的壓縮包送朱,可以方便在不同設備上進行安裝娘荡。比如要在離線的服務器上安裝就需要講 whl 包復制出來安裝干旁,具體做法網上很多,這里不再贅述炮沐。

如果遇到網絡問題導致安裝失敗争群,可以嘗試特殊方式上網,或者設置 conda 的配置為國內源大年。

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes 
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

或者使用官方推薦的方式换薄,通過 -i 參數(shù),直接使用國內源下載翔试。

pip3 install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple

安裝 Tensorflow

TensorFlow 是一個開源的轻要、基于 Python 的機器學習框架,它由 Google 開發(fā),并在圖形分類、音頻處理垦缅、推薦系統(tǒng)和自然語言處理等場景下有著豐富的應用冲泥。這里我們用官方推薦的方式進行安裝,注意 CPU 和 GPU 版本的區(qū)別壁涎。

pip install --upgrade tensorflow==1.15 # 僅支持 CPU 的版本
pip install --upgrade tensorflow-gpu==1.15 # GPU 版

遇到了這樣的報錯凡恍,應該是版本不對,直接去掉版本號怔球,讓 conda 自動為我們安裝合適的版本咳焚。

pip install --upgrade tensorflow

Tensorflow 安裝成功。

ModelScope Library 安裝

本文使用 miniconda 環(huán)境庞溜,需要提前安裝 setuptools_scm革半。

pip install setuptools-scm

后面的步驟官方文檔很詳細,下面的內容直接根據官方文檔來流码。
ModelScope Libarary由核心框架又官,以及不同領域模型的對接組件組成。如果只需要ModelScope模型和數(shù)據集訪問等基礎能力漫试,可以只安裝ModelScope的核心框架:

pip install modelscope

但如果需要進一步具體使用ModelScope平臺上承載的六敬,包括多模態(tài),NLP驾荣,CV外构,語音等不同領域的模型,來進行模型推理以及模型訓練播掷、微調等能力审编,則需要安裝各個領域上不同的依賴。例如歧匈,

如僅需體驗多模態(tài)領域的模型垒酬,可執(zhí)行如下命令安裝領域依賴:

pip install "modelscope[multi-modal]"
如僅需體驗NLP領域模型,可執(zhí)行如下命令安裝領域依賴(因部分依賴由ModelScope獨立host,所以需要使用"-f"參數(shù)):

pip install "modelscope[nlp]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

如僅需體驗CV領域模型勘究,可執(zhí)行如下命令安裝領域依賴(因部分依賴由ModelScope獨立host矮湘,所以需要使用"-f"參數(shù)):

pip install "modelscope[cv]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

如僅需體驗語音領域模型,可執(zhí)行如下命令安裝領域依賴(因部分依賴由ModelScope獨立host口糕,所以需要使用"-f"參數(shù)):

pip install "modelscope[audio]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

發(fā)現(xiàn)無法安裝缅阳,大部分語音模型需要指定版本,所以無法在 macOS 上安裝成功景描。
注意:當前大部分語音模型需要在Linux環(huán)境上使用券时,并且推薦使用python3.7 + tensorflow 1.x的組合。

如僅需體驗科學計算領域模型伏伯,請執(zhí)行如下命令:

pip install "modelscope[science]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

安裝驗證

安裝成功后,即可使用對應領域模型進行推理捌袜,訓練等操作说搅。官方文檔以NLP領域為例。安裝后虏等,可執(zhí)行如下命令弄唧,運行中文分詞任務,來驗證安裝是否正確:

python -c "from modelscope.pipelines import pipeline;print(pipeline('word-segmentation')('今天天氣不錯霍衫,適合 出去游玩'))"

安裝 Jupyter Notebook

Jupyter Notebook 是一個交互式筆記本候引,支持運行 40 多種編程語言。是我個人最習慣使用的 Python 編程工具敦跌。安裝也非常簡單澄干,下面是安裝步驟。

pip install jupyter notebook
jupyter notebook

輸入上面的命令直接在當前目錄啟動柠傍。

啟動后會自動在瀏覽器中打開當前目錄麸俘。

點擊新建,選擇 Python3 新建一個文件惧笛。
在輸入框中輸入剛才的測試命令从媚。

到此為止,所有環(huán)境安裝完成患整,可以開始體驗 ModelScope 里豐富的模型和數(shù)據集啦拜效。

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市各谚,隨后出現(xiàn)的幾起案子紧憾,更是在濱河造成了極大的恐慌,老刑警劉巖昌渤,帶你破解...
    沈念sama閱讀 221,198評論 6 514
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件稻励,死亡現(xiàn)場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機望抽,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,334評論 3 398
  • 文/潘曉璐 我一進店門加矛,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人煤篙,你說我怎么就攤上這事斟览。” “怎么了辑奈?”我有些...
    開封第一講書人閱讀 167,643評論 0 360
  • 文/不壞的土叔 我叫張陵苛茂,是天一觀的道長。 經常有香客問我鸠窗,道長妓羊,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,495評論 1 296
  • 正文 為了忘掉前任稍计,我火速辦了婚禮躁绸,結果婚禮上,老公的妹妹穿的比我還像新娘臣嚣。我一直安慰自己净刮,他們只是感情好,可當我...
    茶點故事閱讀 68,502評論 6 397
  • 文/花漫 我一把揭開白布硅则。 她就那樣靜靜地躺著淹父,像睡著了一般。 火紅的嫁衣襯著肌膚如雪怎虫。 梳的紋絲不亂的頭發(fā)上暑认,一...
    開封第一講書人閱讀 52,156評論 1 308
  • 那天,我揣著相機與錄音大审,去河邊找鬼穷吮。 笑死,一個胖子當著我的面吹牛饥努,可吹牛的內容都是我干的捡鱼。 我是一名探鬼主播,決...
    沈念sama閱讀 40,743評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼酷愧,長吁一口氣:“原來是場噩夢啊……” “哼驾诈!你這毒婦竟也來了?” 一聲冷哼從身側響起溶浴,我...
    開封第一講書人閱讀 39,659評論 0 276
  • 序言:老撾萬榮一對情侶失蹤乍迄,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后士败,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體闯两,經...
    沈念sama閱讀 46,200評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡褥伴,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 38,282評論 3 340
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了漾狼。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片重慢。...
    茶點故事閱讀 40,424評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖逊躁,靈堂內的尸體忽然破棺而出似踱,到底是詐尸還是另有隱情,我是刑警寧澤稽煤,帶...
    沈念sama閱讀 36,107評論 5 349
  • 正文 年R本政府宣布核芽,位于F島的核電站,受9級特大地震影響酵熙,放射性物質發(fā)生泄漏轧简。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,789評論 3 333
  • 文/蒙蒙 一匾二、第九天 我趴在偏房一處隱蔽的房頂上張望哮独。 院中可真熱鬧,春花似錦假勿、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,264評論 0 23
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至浆竭,卻和暖如春浸须,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背邦泄。 一陣腳步聲響...
    開封第一講書人閱讀 33,390評論 1 271
  • 我被黑心中介騙來泰國打工删窒, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人顺囊。 一個月前我還...
    沈念sama閱讀 48,798評論 3 376
  • 正文 我出身青樓肌索,卻偏偏與公主長得像,于是被迫代替她去往敵國和親特碳。 傳聞我的和親對象是個殘疾皇子诚亚,可洞房花燭夜當晚...
    茶點故事閱讀 45,435評論 2 359

推薦閱讀更多精彩內容