BERT模型捌锭，本質(zhì)可以把其看做是新的word2Vec俘陷。對于現(xiàn)有的任務(wù)，只需把BERT的輸出看做是word2vec观谦，在其之上建立自己的模型即可了拉盾。
1，下載BERT
-
BERT-Base, Uncased: 12-layer, 768-hidden, 12-heads, 110M parameters -
BERT-Large, Uncased: 24-layer, 1024-hidden, 16-heads, 340M parameters -
BERT-Base, Cased: 12-layer, 768-hidden, 12-heads , 110M parameters -
BERT-Large, Cased: 24-layer, 1024-hidden, 16-heads, 340M parameters -
BERT-Base, Multilingual Cased (New, recommended): 104 languages, 12-layer, 768-hidden, 12-heads, 110M parameters -
BERT-Base, Multilingual Uncased (Orig, not recommended)(Not recommended, useMultilingual Casedinstead): 102 languages, 12-layer, 768-hidden, 12-heads, 110M parameters -
BERT-Base, Chinese: Chinese Simplified and Traditional, 12-layer, 768-hidden, 12-heads, 110M parameters
前4個是英文模型豁状，Multilingual 是多語言模型捉偏，最后一個是中文模型(只有字級別的)
其中 Uncased 是字母全部轉(zhuǎn)換成小寫倒得，而Cased是保留了大小寫。
BERT源碼 可以在Tensorflow的GitHub上獲取夭禽。
本文的demo地址屎暇，需要下載BERT-Base, Chinese模型，放在根目錄下
2驻粟，加載BERT
官方的源碼中已經(jīng)有如何使用BERT的demo。demo中使用了TPUEstimator 封裝凶异，感覺不好debug蜀撑。其實BERT的加載很簡單。
直接看代碼
import tensorflow as tf
from bert import modeling
import os
# 這里是下載下來的bert配置文件
bert_config = modeling.BertConfig.from_json_file("chinese_L-12_H-768_A-12/bert_config.json")
# 創(chuàng)建bert的輸入
input_ids=tf.placeholder (shape=[64,128],dtype=tf.int32,name="input_ids")
input_mask=tf.placeholder (shape=[64,128],dtype=tf.int32,name="input_mask")
segment_ids=tf.placeholder (shape=[64,128],dtype=tf.int32,name="segment_ids")
# 創(chuàng)建bert模型
model = modeling.BertModel(
config=bert_config,
is_training=True,
input_ids=input_ids,
input_mask=input_mask,
token_type_ids=segment_ids,
use_one_hot_embeddings=False # 這里如果使用TPU 設(shè)置為True剩彬，速度會快些酷麦。使用CPU 或GPU 設(shè)置為False ，速度會快些喉恋。
)
#bert模型參數(shù)初始化的地方
init_checkpoint = "chinese_L-12_H-768_A-12/bert_model.ckpt"
use_tpu = False
# 獲取模型中所有的訓(xùn)練參數(shù)沃饶。
tvars = tf.trainable_variables()
# 加載BERT模型
(assignment_map, initialized_variable_names) = modeling.get_assignment_map_from_checkpoint(tvars,
init_checkpoint)
tf.train.init_from_checkpoint(init_checkpoint, assignment_map)
tf.logging.info("**** Trainable Variables ****")
# 打印加載模型的參數(shù)
for var in tvars:
init_string = ""
if var.name in initialized_variable_names:
init_string = ", *INIT_FROM_CKPT*"
tf.logging.info(" name = %s, shape = %s%s", var.name, var.shape,
init_string)
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
上面是按照源碼，做了提取轻黑。
下面的代碼也可以加載模型
import tensorflow as tf
from bert import modeling
import os
pathname = "chinese_L-12_H-768_A-12/bert_model.ckpt" # 模型地址
bert_config = modeling.BertConfig.from_json_file("chinese_L-12_H-768_A-12/bert_config.json")# 配置文件地址糊肤。
configsession = tf.ConfigProto()
configsession.gpu_options.allow_growth = True
sess = tf.Session(config=configsession)
input_ids = tf.placeholder(shape=[64, 128], dtype=tf.int32, name="input_ids")
input_mask = tf.placeholder(shape=[64, 128], dtype=tf.int32, name="input_mask")
segment_ids = tf.placeholder(shape=[64, 128], dtype=tf.int32, name="segment_ids")
with sess.as_default():
model = modeling.BertModel(
config=bert_config,
is_training=True,
input_ids=input_ids,
input_mask=input_mask,
token_type_ids=segment_ids,
use_one_hot_embeddings=False)
saver = tf.train.Saver()
sess.run(tf.global_variables_initializer())# 這里尤其注意，先初始化氓鄙，在加載參數(shù)馆揉，否者會把bert的參數(shù)重新初始化。這里和demo1是有區(qū)別的
saver.restore(sess, pathname)
print(1)
這里就很清晰了抖拦，就是常用的TensorFlow模型加載方法升酣。
3，使用模型
獲取bert模型的輸出非常簡單态罪，使用 model.get_sequence_output()和model.get_pooled_output() 兩個方法噩茄。
output_layer = model.get_sequence_output()# 這個獲取每個token的output 輸出[batch_size, seq_length, embedding_size] 如果做seq2seq 或者ner 用這個
output_layer = model.get_pooled_output() # 這個獲取句子的output
那么bert的輸入又是什么樣子的呢？ 看下面代碼
def convert_single_example( max_seq_length,
tokenizer,text_a,text_b=None):
tokens_a = tokenizer.tokenize(text_a)
tokens_b = None
if text_b:
tokens_b = tokenizer.tokenize(text_b)# 這里主要是將中文分字
if tokens_b:
# 如果有第二個句子复颈，那么兩個句子的總長度要小于 max_seq_length - 3
# 因為要為句子補(bǔ)上[CLS], [SEP], [SEP]
_truncate_seq_pair(tokens_a, tokens_b, max_seq_length - 3)
else:
# 如果只有一個句子绩聘，只用在前后加上[CLS], [SEP] 所以句子長度要小于 max_seq_length - 3
if len(tokens_a) > max_seq_length - 2:
tokens_a = tokens_a[0:(max_seq_length - 2)]
# 轉(zhuǎn)換成bert的輸入，注意下面的type_ids 在源碼中對應(yīng)的是 segment_ids
# (a) 兩個句子:
# tokens: [CLS] is this jack ##son ##ville ? [SEP] no it is not . [SEP]
# type_ids: 0 0 0 0 0 0 0 0 1 1 1 1 1 1
# (b) 單個句子:
# tokens: [CLS] the dog is hairy . [SEP]
# type_ids: 0 0 0 0 0 0 0
#
# 這里 "type_ids" 主要用于區(qū)分第一個第二個句子券膀。
# 第一個句子為0君纫，第二個句子是1。在預(yù)訓(xùn)練的時候會添加到單詞的的向量中芹彬，但這個不是必須的
# 因為[SEP] 已經(jīng)區(qū)分了第一個句子和第二個句子蓄髓。但type_ids 會讓學(xué)習(xí)變的簡單
tokens = []
segment_ids = []
tokens.append("[CLS]")
segment_ids.append(0)
for token in tokens_a:
tokens.append(token)
segment_ids.append(0)
tokens.append("[SEP]")
segment_ids.append(0)
if tokens_b:
for token in tokens_b:
tokens.append(token)
segment_ids.append(1)
tokens.append("[SEP]")
segment_ids.append(1)
input_ids = tokenizer.convert_tokens_to_ids(tokens)# 將中文轉(zhuǎn)換成ids
# 創(chuàng)建mask
input_mask = [1] * len(input_ids)
# 對于輸入進(jìn)行補(bǔ)0
while len(input_ids) < max_seq_length:
input_ids.append(0)
input_mask.append(0)
segment_ids.append(0)
assert len(input_ids) == max_seq_length
assert len(input_mask) == max_seq_length
assert len(segment_ids) == max_seq_length
return input_ids,input_mask,segment_ids # 對應(yīng)的就是創(chuàng)建bert模型時候的input_ids,input_mask,segment_ids 參數(shù)
上面的代碼是對單個樣本進(jìn)行轉(zhuǎn)換，代碼中的注釋解釋的很詳細(xì)了舒帮，下面對參數(shù)說明下:
max_seq_length ：是每個樣本的最大長度会喝，也就是最大單詞數(shù)陡叠。
tokenizer ：是bert源碼中提供的模塊，其實主要作用就是將句子拆分成字肢执，并且將字映射成id
text_a ： 句子a
text_b ： 句子b
4 值得注意的地方
- 1枉阵，bert模型對輸入的句子有一個最大長度，對于中文模型预茄，我看到的是512個字兴溜。
- 2，當(dāng)我們用
model.get_sequence_output()獲取每個單詞的詞向量的時候注意耻陕，頭尾是[CLS]和[SEP]的向量拙徽。做NER或seq2seq的時候需要注意。 - 3诗宣，bert模型對內(nèi)存的要求還是很高的膘怕，運行本文的demo的時候，如果內(nèi)存不足召庞，可以降低batch_size和max_seq_length來試下岛心。
