本文嘗試在 macOS 上安裝 ModelScope 環(huán)境,進行簡單的環(huán)境配置和模型啟動涯穷。
安裝 conda
第一步涛癌,安裝 Python 環(huán)境,官方推薦用 Anaconda贾费,這是一個開源的 Python 發(fā)行版本,用來管理管理不同的包傅瞻,切換不同的環(huán)境亲澡。個人推薦用 miniconda,安裝包小很多耗啦,功能是一樣的凿菩。
安裝包下載地址:https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/
選擇自己需要的系統(tǒng)和python版本。
我選的是
Miniconda3-py39_23.3.1-0-MacOSX-arm64.pkg
其中pkg是可視化安裝包帜讲,sh是命令行安裝包衅谷,除了安裝方式有區(qū)別,別的沒啥區(qū)別似将。pkg包安裝過程如下获黔。
現(xiàn)在打開終端在验,會看到在計算機名稱左側出現(xiàn)了 base玷氏,這是因為 conda 安裝成功后會自動進入默認虛擬環(huán)境 base,輸入 conda -V 可以看到 conda 版本腋舌,代表安裝成功盏触。
conda 的基本操作命令如下:
# 退出虛擬環(huán)境
conda deactivate
# 查看虛擬機環(huán)境
conda info -e
# 進入虛擬環(huán)境
conda activate base(虛擬環(huán)境名稱)
# 刪除虛擬環(huán)境
conda remove -n my_env --all
# 創(chuàng)建python虛擬環(huán)境
conda create --n my_env python=3.7
# 創(chuàng)建虛擬環(huán)境
conda create -n env_name
# 查看當前虛擬環(huán)境
conda create -n env_name
根據官方文檔,我們要在 arm 芯片的 macOS 上安裝的話块饺,不能用 Python3.7 而要用 Python3.8赞辩,所以創(chuàng)建虛擬環(huán)境的命令如下。
# 創(chuàng)建python虛擬環(huán)境
conda create -n modelscope python=3.8
# 進入虛擬環(huán)境
conda activate modelscope
輸入 conda activate modelscope 進入該虛擬環(huán)境授艰。
左邊的 base 變成了 modelscope辨嗽,說明成功。這時再查看 Python 版本想诅,成功從 base 環(huán)境的 3.9.16 切換成了 modelscope 環(huán)境的 3.8.16召庞。
安裝 PyTorch
接下來安裝 PyTorch,這是一個開源的 Python 機器學習庫来破,基于 Torch篮灼,用于自然語言處理等應用程序。安裝步驟也很簡單徘禁,直接在剛才的界面輸入下面的命令诅诱。
pip3 install torch torchvision torchaudio
conda 會開始安裝相關包,whl 包本質上是一個包含 py 文件和經過編譯的 pyd 文件的壓縮包送朱,可以方便在不同設備上進行安裝娘荡。比如要在離線的服務器上安裝就需要講 whl 包復制出來安裝干旁,具體做法網上很多,這里不再贅述炮沐。
如果遇到網絡問題導致安裝失敗争群,可以嘗試特殊方式上網,或者設置 conda 的配置為國內源大年。
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
或者使用官方推薦的方式换薄,通過 -i 參數(shù),直接使用國內源下載翔试。
pip3 install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple
安裝 Tensorflow
TensorFlow 是一個開源的轻要、基于 Python 的機器學習框架,它由 Google 開發(fā),并在圖形分類、音頻處理垦缅、推薦系統(tǒng)和自然語言處理等場景下有著豐富的應用冲泥。這里我們用官方推薦的方式進行安裝,注意 CPU 和 GPU 版本的區(qū)別壁涎。
pip install --upgrade tensorflow==1.15 # 僅支持 CPU 的版本
pip install --upgrade tensorflow-gpu==1.15 # GPU 版
遇到了這樣的報錯凡恍,應該是版本不對,直接去掉版本號怔球,讓 conda 自動為我們安裝合適的版本咳焚。
pip install --upgrade tensorflow
Tensorflow 安裝成功。
ModelScope Library 安裝
本文使用 miniconda 環(huán)境庞溜,需要提前安裝 setuptools_scm革半。
pip install setuptools-scm
后面的步驟官方文檔很詳細,下面的內容直接根據官方文檔來流码。
ModelScope Libarary由核心框架又官,以及不同領域模型的對接組件組成。如果只需要ModelScope模型和數(shù)據集訪問等基礎能力漫试,可以只安裝ModelScope的核心框架:
pip install modelscope
但如果需要進一步具體使用ModelScope平臺上承載的六敬,包括多模態(tài),NLP驾荣,CV外构,語音等不同領域的模型,來進行模型推理以及模型訓練播掷、微調等能力审编,則需要安裝各個領域上不同的依賴。例如歧匈,
如僅需體驗多模態(tài)領域的模型垒酬,可執(zhí)行如下命令安裝領域依賴:
pip install "modelscope[multi-modal]"
如僅需體驗NLP領域模型,可執(zhí)行如下命令安裝領域依賴(因部分依賴由ModelScope獨立host,所以需要使用"-f"參數(shù)):
pip install "modelscope[nlp]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
如僅需體驗CV領域模型勘究,可執(zhí)行如下命令安裝領域依賴(因部分依賴由ModelScope獨立host矮湘,所以需要使用"-f"參數(shù)):
pip install "modelscope[cv]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
如僅需體驗語音領域模型,可執(zhí)行如下命令安裝領域依賴(因部分依賴由ModelScope獨立host口糕,所以需要使用"-f"參數(shù)):
pip install "modelscope[audio]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
發(fā)現(xiàn)無法安裝缅阳,大部分語音模型需要指定版本,所以無法在 macOS 上安裝成功景描。
注意:當前大部分語音模型需要在Linux環(huán)境上使用券时,并且推薦使用python3.7 + tensorflow 1.x的組合。
如僅需體驗科學計算領域模型伏伯,請執(zhí)行如下命令:
pip install "modelscope[science]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
安裝驗證
安裝成功后,即可使用對應領域模型進行推理捌袜,訓練等操作说搅。官方文檔以NLP領域為例。安裝后虏等,可執(zhí)行如下命令弄唧,運行中文分詞任務,來驗證安裝是否正確:
python -c "from modelscope.pipelines import pipeline;print(pipeline('word-segmentation')('今天天氣不錯霍衫,適合 出去游玩'))"
安裝 Jupyter Notebook
Jupyter Notebook 是一個交互式筆記本候引,支持運行 40 多種編程語言。是我個人最習慣使用的 Python 編程工具敦跌。安裝也非常簡單澄干,下面是安裝步驟。
pip install jupyter notebook
jupyter notebook
輸入上面的命令直接在當前目錄啟動柠傍。
啟動后會自動在瀏覽器中打開當前目錄麸俘。
點擊新建,選擇 Python3 新建一個文件惧笛。
在輸入框中輸入剛才的測試命令从媚。
到此為止,所有環(huán)境安裝完成患整,可以開始體驗 ModelScope 里豐富的模型和數(shù)據集啦拜效。