將訓練好的bert向量提供sentence 編碼服務

1、參考

   https://zhuanlan.zhihu.com/p/50582974
   https://github.com/hanxiao/bert-asservice/blob/master/client/README.md

2择示、下載bert中文詞向量

  地址:https://github.com/google-research/bert#pre-trained-models
  中文向量鏈接:https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip

3、提供服務

3.1 將上述壓縮文件解壓
3.2 構(gòu)建環(huán)境
安裝依賴環(huán)境:
pip install numpy
pip install -U bert-serving-server[http]
pip install bert-serving-client
pip install tensorflow>=1.10.0

4、 提供本地/遠程服務

4.1 本地直接調(diào)用:
     from bert_serving.client import BertClient
     bc = BertClient()
     bc.encode(['我 喜歡 你們', '我 喜 歡 你 們'])
 4.2  遠程請求服務
     post服務:
      curl -X POST http://**.*.*.68:8125/encode -H 'content-type: application/json' -d '{"id": 123,"texts": ["hello world"], "is_tokenized": false}'

       返回結(jié)果:
            {
                "id":123,
                 "result":[[-0.00980051327496767,0.05821939557790756,-0.06836936622858047,
                                      -0.4723478853702545,0.48761454224586487,-1.4105712175369263, 
                                      ...
                                      ...
                                      ,-0.10073700547218323,-0.17246723175048828]],
                "status":200
            }
            
            
4.3榛丢、在一個GPU服務器(**.*.*.68)上部署bert服務,在另外一臺cpu服務器(**.*.*.67)調(diào)用這個服務:
        step1: 調(diào)用前先在(**.*.*.68)上安裝client:
              pip install bert-serving-client
        
        step2: 調(diào)用服務demo
            # on another CPU machine
            from bert_serving.client import BertClient
            bc = BertClient(ip='xx.xx.xx.xx')  # ip address of the GPU machine
            bc.encode(['First do it', 'then do it right', 'then do it better'])

5挺庞、 模型不需要分詞晰赞,距離如下,發(fā)現(xiàn)這集中情況得到的編碼向量是一樣的

image.png

6选侨、QA : https://github.com/hanxiao/bert-as-service/blob/master/client/README.md#speech_balloon-faq

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末掖鱼,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子援制,更是在濱河造成了極大的恐慌戏挡,老刑警劉巖,帶你破解...
    沈念sama閱讀 221,695評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件晨仑,死亡現(xiàn)場離奇詭異增拥,居然都是意外死亡,警方通過查閱死者的電腦和手機寻歧,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,569評論 3 399
  • 文/潘曉璐 我一進店門掌栅,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人码泛,你說我怎么就攤上這事猾封。” “怎么了噪珊?”我有些...
    開封第一講書人閱讀 168,130評論 0 360
  • 文/不壞的土叔 我叫張陵晌缘,是天一觀的道長。 經(jīng)常有香客問我痢站,道長磷箕,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,648評論 1 297
  • 正文 為了忘掉前任阵难,我火速辦了婚禮岳枷,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己空繁,他們只是感情好殿衰,可當我...
    茶點故事閱讀 68,655評論 6 397
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著盛泡,像睡著了一般闷祥。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上傲诵,一...
    開封第一講書人閱讀 52,268評論 1 309
  • 那天凯砍,我揣著相機與錄音,去河邊找鬼拴竹。 笑死果覆,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的殖熟。 我是一名探鬼主播局待,決...
    沈念sama閱讀 40,835評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼菱属!你這毒婦竟也來了钳榨?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,740評論 0 276
  • 序言:老撾萬榮一對情侶失蹤纽门,失蹤者是張志新(化名)和其女友劉穎薛耻,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體赏陵,經(jīng)...
    沈念sama閱讀 46,286評論 1 318
  • 正文 獨居荒郊野嶺守林人離奇死亡饼齿,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,375評論 3 340
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了蝙搔。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片缕溉。...
    茶點故事閱讀 40,505評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖吃型,靈堂內(nèi)的尸體忽然破棺而出证鸥,到底是詐尸還是另有隱情,我是刑警寧澤勤晚,帶...
    沈念sama閱讀 36,185評論 5 350
  • 正文 年R本政府宣布枉层,位于F島的核電站,受9級特大地震影響赐写,放射性物質(zhì)發(fā)生泄漏鸟蜡。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,873評論 3 333
  • 文/蒙蒙 一挺邀、第九天 我趴在偏房一處隱蔽的房頂上張望揉忘。 院中可真熱鬧跳座,春花似錦、人聲如沸癌淮。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,357評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽乳蓄。三九已至,卻和暖如春夕膀,著一層夾襖步出監(jiān)牢的瞬間虚倒,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,466評論 1 272
  • 我被黑心中介騙來泰國打工产舞, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留魂奥,地道東北人。 一個月前我還...
    沈念sama閱讀 48,921評論 3 376
  • 正文 我出身青樓易猫,卻偏偏與公主長得像耻煤,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子准颓,可洞房花燭夜當晚...
    茶點故事閱讀 45,515評論 2 359

推薦閱讀更多精彩內(nèi)容