目標(biāo)

對(duì)錘子有所了解的應(yīng)該知道3.0系統(tǒng)出了個(gè)叫“大爆炸”的功能，會(huì)將一段文本炸開(kāi)成一個(gè)個(gè)詞浪蹂，用來(lái)快速地“提取”信息抵栈，這個(gè)功能有個(gè)關(guān)鍵技術(shù)就是分詞告材。

以下將介紹如何使用PullWord和C++ REST SDK來(lái)完成分詞功能。

PullWord

一個(gè)基于深度學(xué)習(xí)的中文在線抽詞服務(wù)古劲，可以將文本抽取出相應(yīng)的詞匯斥赋。

我們可以使用HTTP的GET或者POST方法向PullWord發(fā)出請(qǐng)求，如果一切正常产艾，PullWord會(huì)返回對(duì)應(yīng)的結(jié)果疤剑；

• 查詢請(qǐng)求(request)的構(gòu)造方法為:

source=要抽詞的文本&param1=閾值&param2=調(diào)試

• 如果使用GET方法，HTTP請(qǐng)求的URL為：

http://api.pullword.com/get.php?request

• 如果使用POST方法闷堡，則HTTP請(qǐng)求的URL為：

http://api.pullword.com/post.php

并且在HTTP請(qǐng)求體中存放request字符串隘膘。

• 在調(diào)試關(guān)閉(為0)的情況下，返回的結(jié)果是以\r\n分隔開(kāi)的一個(gè)個(gè)詞匯：

word1\r\n
word2\r\n
...
wordn\r\n

• 在調(diào)試開(kāi)啟(為1)的情況下杠览，返回的結(jié)果包含了其概率:

word1:probability(word1)\r\n
word2:probability(word2)\r\n
...
word:probability(wordn)n\r\n

• 閾值是用來(lái)過(guò)濾詞匯結(jié)果的弯菊，取值范圍為[0,1]，小于該閾值的在返回結(jié)果中不會(huì)出現(xiàn)踱阿；
• 輸入輸出編碼必須為UTF8管钳；
• 如果使用IP形式訪問(wèn),則對(duì)應(yīng)的http://www.pullword.com/要替換成http://43.241.223.121/或者http://120.26.6.172/

C++ REST SDK

微軟開(kāi)源的云通信庫(kù)，該項(xiàng)目旨在幫助C++開(kāi)發(fā)者與在線服務(wù)進(jìn)行交互扫茅；其使用了異步的C++ API設(shè)計(jì)蹋嵌，將微軟的PPL庫(kù)中task部分抽取出來(lái)支持異步。

安裝方式有兩種：

• NuGet
• Vcpkg

支持以下特性：

• 基于Task編程
• JSON
• 異步流
• URI操作
• HTTP客戶端
• HTTP監(jiān)聽(tīng)器
• WebSocket客戶端
• OAuth驗(yàn)證

如何實(shí)現(xiàn)

1. 構(gòu)造URL
2. [可選]構(gòu)造HTTP請(qǐng)求體
3. 發(fā)起HTTP請(qǐng)求
4. 解析HTTP響應(yīng)

對(duì)應(yīng)源代碼如下：

#include <cpprest\http_client.h>
#include <cpprest\filestream.h>
 
utility::string_t RequestPullword(utility::string_t source, double threshold, bool debug)
{
    using namespace utility;
    using namespace web;
    using namespace web::http;
    using namespace web::http::client;
 
    static const wchar_t* base_url = L"http://api.pullword.com/";
    static bool  get_or_post = true;
 
    utility::string_t result;
    try
    {
        [=]()->pplx::task<http_response> {
            uri_builder builder(U("/get.php"));
            //1.構(gòu)造請(qǐng)求
            builder.append_query(U("source"), source);
            builder.append_query(U("param1"), threshold);
            builder.append_query(U("param2"), debug ? 1 : 0);
            //3.發(fā)起HTTP請(qǐng)求
            http_client client(base_url);
            if (get_or_post)
                return client.request(methods::GET, builder.to_string());
            return client.request(methods::POST, U("/post.php"), builder.query());
        }().then([=](http_response response) {
            //4.解析HTTP響應(yīng)
            if (response.status_code() == 200)
                return response.extract_string();
            return pplx::task_from_result(utility::string_t());
        }).then([&](utility::string_t body){
            result = body;
        }).wait();
    }
    catch (const std::exception &e)
    {
        (e);//handle exception
    }
    return result;
}

測(cè)試如下：

int main(int argc, char** argv)
{
    auto result = RequestPullword(L"李彥宏是馬云最大威脅嘛葫隙？",0,true);
 
    return 0;
}

結(jié)果如下：

分詞測(cè)試結(jié)果