現(xiàn)今大模型都是百億和千億級(jí)別的體量枝誊，模型文件動(dòng)輒幾十GB，從Hugging Face上下載十分耗時(shí)惜纸，而且網(wǎng)絡(luò)不穩(wěn)定也會(huì)導(dǎo)致模型下載失敗叶撒，而且很多下載方法不支持?jǐn)帱c(diǎn)續(xù)傳绝骚，導(dǎo)致費(fèi)時(shí)費(fèi)力，卻一無所獲祠够。本篇文章介紹如何在ModelScope社區(qū)下載所需的模型压汪，文章內(nèi)容來自社區(qū)文檔及個(gè)人實(shí)踐。
若您需要在ModelScope平臺(tái)上有感興趣的模型并希望能下載至本地古瓤，則ModelScope提供了多種下載模型的方式止剖。
若該模型已集成至ModelScope的Library中，則您只需要幾行代碼即可加載模型落君。您可以點(diǎn)擊模型卡片中的“快速使用”按鈕查看如何使用Library進(jìn)行模型的下載穿香。前期是需要先安裝ModelScope的Library。 只需要知道模型id叽奥，以及希望使用的模型版本(默認(rèn)為master)扔水，就可以通過一行代碼痛侍，完成模型尋找朝氓，下載，以及加載的工作：
from modelscope.models import Model
model = Model.from_pretrained('damo/nlp_xlmr_named-entity-recognition_viet-ecommerce-title', revision='v1.0.1')
# revision為可選參數(shù)主届，不指定版本會(huì)取模型默認(rèn)版本赵哲，默認(rèn)版本，默認(rèn)版本為ModelScope library發(fā)布前最后一個(gè)版本
# 如何得到發(fā)布時(shí)間
# import modelscope
# print(modelscope.version.__release_datetime__)
#model = Model.from_pretrained('damo/nlp_structbert_word-segmentation_chinese-base')
使用Library Hub下載模型
您可以使用modelscope modelhub從 repos 創(chuàng)建君丁、刪除枫夺、更新和檢索信息。您還可以從 repos 下載文件或?qū)⑺鼈兗傻侥膸熘谢婷疲⑶铱芍付ㄏ螺d模型的地址橡庞。
from modelscope.hub.snapshot_download import snapshot_download
model_dir = snapshot_download('damo/nlp_xlmr_named-entity-recognition_viet-ecommerce-title', cache_dir='path/to/local/dir', revision='v1.0.1')
您也可以使用modelscope modelhub從repos中指定下載單個(gè)文件。</p>
from modelscope.hub.file_download import model_file_download
model_dir = model_file_download(model_id='AI-ModelScope/rwkv-4-world',file_path='RWKV-4-World-CHNtuned-7B-v1-20230709-ctx4096.pth',revision='v1.0.0')
默認(rèn)模型會(huì)下載到
~/.cache/modelscope/hub
如果需要修改下載目錄印蔗，可以手動(dòng)指定環(huán)境變量：MODELSCOPE_CACHE扒最，modelscope會(huì)將模型和數(shù)據(jù)集下載到該環(huán)境變量指定的目錄中
使用Git下載模型（主要方法）
# 公開模型下載
git lfs install
git clone https://www.modelscope.cn/<namespace>/<model-name>.git
# 例如: git clone https://www.modelscope.cn/damo/ofa_image-caption_coco_large_en.git
# 模型頁面：https://modelscope.cn/models/qwen/Qwen-14B/summary
# 對(duì)應(yīng)規(guī)則：https://www.modelscope.cn/<namespace>/<model-name>.git
# 示例：git clone https://modelscope.cn/qwen/Qwen-14B.git
# 私有模型下載，前提是您有響應(yīng)模型權(quán)限 方法1
git lfs install
git clone http://oauth2:your_git_token@www.modelscope.cn/<namespace>/<model-name>.git
# 方法2
git clone http://your_user_name@www.modelscope.cn/<namespace>/<model-name>.git
# Password for 'http://your_user_name@modelscope.cn':
# input git token
如何獲取git token
用您的賬號(hào)登錄华嘹，在個(gè)人中心->訪問令牌吧趣，拷貝git token
