使用Hugging Face的Transformers庫來下載預(yù)訓(xùn)練模型bert模型時付材。以下是下載和使用該模型的示例代碼：
from transformers import BertTokenizer, BertModel
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
model = BertModel.from_pretrained('bert-base-chinese')
這將自動下載預(yù)訓(xùn)練模型bert-base-chinese并創(chuàng)建一個BertTokenizer和BertModel對象，您可以使用它們來進(jìn)行文本編碼和模型推理谍夭。
這一切的前提紊撕，建立在開發(fā)機(jī)是可以聯(lián)網(wǎng)的
當(dāng)機(jī)器無法聯(lián)網(wǎng)時罢荡，讀取預(yù)訓(xùn)練模型會失敗，此時需要我們在能上網(wǎng)的地方下載模型文件对扶，上傳開發(fā)機(jī)区赵。然后從本地緩存中加載模型。
方法如下
首先進(jìn)入hugging face浪南，找到自己想要下載的模型笼才，點(diǎn)擊下載對應(yīng)的文件。針對pytorch模型络凿，需要下載以下文件骡送，下載后新建一個文件夾bert-base-chinese，將這些文件放入絮记，一并上傳開發(fā)機(jī)摔踱。
image.png
修改讀取預(yù)訓(xùn)練模型代碼如下，即可正常運(yùn)行到千。
config = BertConfig.from_json_file("bert-base-chinese/config.json")
model = BertModel.from_pretrained("bert-base-chinese/pytorch_model.bin", config=config)
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese/') ##注意此處為本地文件夾
