設(shè)計(jì)對(duì)話(huà)苍柏，收集用戶(hù)語(yǔ)料彻况，機(jī)器學(xué)習(xí)到人工智能的轉(zhuǎn)化
Actions on Google
Google發(fā)布了Actions on Google項(xiàng)目白胀，使開(kāi)發(fā)者能夠構(gòu)建基于Google Assistant的語(yǔ)音交互應(yīng)用箱沦，并與Google Home設(shè)備進(jìn)行集成玲昧。
Google的高級(jí)開(kāi)發(fā)工程師Wayne Piekarsk將Actions on Google平臺(tái)描述為一種集成方式：
開(kāi)發(fā)者可以通過(guò)它將自己的服務(wù)與Google Assistant集成到一起栖茉。
該集成的實(shí)現(xiàn)方式是：
會(huì)話(huà)行為（Conversation Action）允許開(kāi)發(fā)者通過(guò)一個(gè)雙向窗口滿(mǎn)足用戶(hù)的請(qǐng)求。當(dāng)用戶(hù)請(qǐng)求一個(gè)Action的時(shí)候孵延，Google Assistant就會(huì)處理該請(qǐng)求吕漂，決定由哪個(gè)Action處理該請(qǐng)求最好，并調(diào)用相關(guān)的會(huì)話(huà)行為尘应。調(diào)用之后惶凝，開(kāi)發(fā)者開(kāi)發(fā)的會(huì)話(huà)行為就能掌控剩下的所有事情，包括如何歡迎用戶(hù)犬钢，如何滿(mǎn)足用戶(hù)的請(qǐng)求苍鲜，以及如何結(jié)束會(huì)話(huà)。
為了闡述Actions on Google的功能玷犹，Google使用了一個(gè)私人廚師的示例應(yīng)用混滔，該應(yīng)用允許最終用戶(hù)通過(guò)Google Home設(shè)備與食譜查找服務(wù)交互。首先歹颓，最終用戶(hù)需要告訴該應(yīng)用自己現(xiàn)在的情緒以及所擁有的佐料坯屿，然后會(huì)話(huà)應(yīng)用會(huì)解析用戶(hù)的情緒，理解可用的佐料有哪些巍扛，之后會(huì)根據(jù)用戶(hù)的情緒和食欲為其提供食譜领跛。
編寫(xiě)這種類(lèi)型的應(yīng)用是非常具有挑戰(zhàn)性的，因?yàn)楹茈y準(zhǔn)確地提取Action的意義撤奸。
現(xiàn)在即使利用AI技術(shù)吠昭，將“告訴我附近便宜的Indian餐館在哪里”這樣的命令/指令轉(zhuǎn)換成一組可執(zhí)行的命令集也不是一件容易的任務(wù)喊括。我們首先需要理解用戶(hù)想要尋找“Indian”風(fēng)味的餐館，然后需要知道用戶(hù)心中的“便宜”到底指什么價(jià)位矢棚。
Google開(kāi)發(fā)會(huì)話(huà)行為的目的就是為了應(yīng)對(duì)這些上下文敏感的挑戰(zhàn)郑什，以幫助開(kāi)發(fā)者構(gòu)建會(huì)話(huà)App。
會(huì)話(huà)行為由三個(gè)主要的組件組成蒲肋，包括：
1. 調(diào)用觸發(fā)器（Invocation Triggers）定義了用戶(hù)如何調(diào)用和發(fā)現(xiàn)Action蹦误。一旦被觸發(fā)，Action就會(huì)展開(kāi)一個(gè)由對(duì)話(huà)框定義的會(huì)話(huà)與用戶(hù)交互肉津。
2. 對(duì)話(huà)框（Dialogs ）定義了用戶(hù)如何與Action進(jìn)行交談强胰，同時(shí)它也是Action的用戶(hù)界面。它們依靠實(shí)現(xiàn)代碼推動(dòng)會(huì)話(huà)的前行妹沙。
3. 實(shí)現(xiàn)（Fulfillment）是處理用戶(hù)輸入并返回響應(yīng)的代碼偶洋，它是一個(gè)REST服務(wù)。實(shí)現(xiàn)通常還包含一些執(zhí)行具體行為的邏輯距糖，例如檢索菜譜或者新聞并大聲朗讀玄窝。
調(diào)用會(huì)話(huà)行為的方式有三種：
1. 會(huì)話(huà)API，它提供了與Google Assistant通信所必須使用的請(qǐng)求和響應(yīng)的格式悍引。
2. Actions SDK恩脂，包含一個(gè)NodeJS客戶(hù)端類(lèi)庫(kù)，行為包（Action Package）定義趣斤，CLI和Web模擬器俩块。
3. 包含API.AI在內(nèi)的其他工具。 (API.AI是Google最近收購(gòu)的一家公司浓领，開(kāi)發(fā)者可以通過(guò)它來(lái)構(gòu)建會(huì)話(huà)接口玉凯。)
Google負(fù)責(zé)工程的副總裁Scott Huffman在2016年9月曾宣稱(chēng)： 超過(guò)60,000名開(kāi)發(fā)者正在使用API.AI在Slack、Facebook Messenger和Kik等環(huán)境中構(gòu)建會(huì)話(huà)式體驗(yàn)联贩。在Actions on Google平臺(tái)上漫仆，開(kāi)發(fā)者可以將API.AI接入自己的會(huì)話(huà)界面上以減少會(huì)話(huà)API通常所需要的文字轉(zhuǎn)錄量。
在Actions on Google平臺(tái)上使用API.AI的一些好處： API.AI為會(huì)話(huà)接口的創(chuàng)建提供了一個(gè)直觀的圖形用戶(hù)界面泪幌，同時(shí)它還會(huì)處理會(huì)話(huà)狀態(tài)的管理和表單的填充等繁重的任務(wù)盲厌。
為了處理一個(gè)會(huì)話(huà)，開(kāi)發(fā)者可以使用控制臺(tái)來(lái)定義Intents祸泪。在Google私人廚師食譜的示例中吗浩，Intents包括定義需要從用戶(hù)那里獲取的信息，例如材料浴滴、溫度拓萌、菜式和烹飪時(shí)間岁钓。
接下來(lái)升略，開(kāi)發(fā)者需要提供一些例句微王。API.AI會(huì)使用這些例句訓(xùn)練機(jī)器學(xué)習(xí)算法，以便于處理其他來(lái)自于用戶(hù)的句子品嚣。開(kāi)發(fā)者不需要為API.AI編寫(xiě)正則表達(dá)式來(lái)解析其他的句子炕倘。
開(kāi)發(fā)者可以人工地為每個(gè)信息指定可接受的值。一旦提供了這些內(nèi)容翰撑，API.AI就能使用這些信息從用戶(hù)所說(shuō)的句子中提取語(yǔ)義罩旋。例如，開(kāi)發(fā)者可以定義一組映射到某種蛋白質(zhì)的實(shí)體眶诈。如果私人廚師App想要在食譜中包含蛋白質(zhì)涨醋，那么可以從開(kāi)發(fā)者定義的一組同義詞（例如牛肉、羊肉逝撬、豆腐和雞肉等）中選取浴骂。
當(dāng)用戶(hù)與應(yīng)用通信的時(shí)候，用戶(hù)可以提供自然信息宪潮，包括一些無(wú)序的溯警、只言片語(yǔ)的信息，如果應(yīng)用沒(méi)有接收到完整的信息狡相，或者接受到的信息不明確梯轻，那么它會(huì)通過(guò)一些跟進(jìn)的問(wèn)題來(lái)獲取信息。
開(kāi)發(fā)者還可以將Intents連接到后端的webhook尽棕，這樣就可以通過(guò)連接到IFTTT喳挑、Zapier或者Azure Logic Apps等第三方平臺(tái)上實(shí)現(xiàn)擴(kuò)展。當(dāng)一個(gè)webhook被調(diào)用的時(shí)候滔悉，所有適合的數(shù)據(jù)都會(huì)以JSON字符串的方式傳送蟀悦。
開(kāi)發(fā)者在控制臺(tái)上配置好了自己的Intents和實(shí)體之后，他們就可以在API.AI的Web模擬器上啟動(dòng)一個(gè)測(cè)試氧敢，在將其提供給所有的Google Home用戶(hù)之前首先通過(guò)私人的Google Home進(jìn)行預(yù)覽日戈。
Api.ai一個(gè)非常強(qiáng)大的功能是可以定義用戶(hù)對(duì)話(huà)，支持模式識(shí)別孙乖，發(fā)布新的服務(wù)時(shí)浙炼，只需要在api.ai上創(chuàng)建相應(yīng)的服務(wù)，然后將其部署到Google Actions API 上,然后變可以在google ssistant上體驗(yàn)自定義的語(yǔ)義服務(wù)唯袄。
在使用api.ai 自定義對(duì)話(huà)應(yīng)用時(shí)弯屈，有幾個(gè)概念需要解釋下：
用戶(hù)需要定義agents （舉例購(gòu)物 shopping代理），在這個(gè)agent下定義entity實(shí)物（舉例書(shū)包恋拷，衣服之類(lèi)的實(shí)物）资厉，對(duì)應(yīng)于實(shí)物需要有intent 意圖。
Agent：描述為用于應(yīng)用的NLU（自然語(yǔ)言理解）模塊蔬顾。 它們的目的是將自然用戶(hù)語(yǔ)言轉(zhuǎn)換為可操作的數(shù)據(jù)
Intent：意圖表示用戶(hù)說(shuō)什么和軟件應(yīng)該采取什么操作之間的映射
Entity : 表示概念宴偿，并且作為從自然語(yǔ)言輸入中提取參數(shù)值的強(qiáng)大工具湘捎。在特定代理中使用的實(shí)體將取決于作為代理功能的結(jié)果而預(yù)期返回的參數(shù)值。
Context ： 上下文語(yǔ)境
Actions on Google 現(xiàn)狀及策略
Actions on Google 依托于Google assistant , 提供了會(huì)話(huà)服務(wù)窄刘，通過(guò)語(yǔ)音服務(wù)有時(shí)候我們不只是需要回答窥妇，也需要“動(dòng)作”，現(xiàn)階段google自家的官方應(yīng)用提供了相應(yīng) 的 “動(dòng)作”娩践，但是在對(duì)外的開(kāi)發(fā)文檔或者指南中并未提及活翩。
另外，對(duì)于開(kāi)發(fā)者開(kāi)發(fā)的各種各樣的action翻伺，google介紹說(shuō)并不會(huì)提供類(lèi)似于 actions 的商店材泄，而是由google作為平臺(tái)搭建者介入審核，但是現(xiàn)在的審核制度還沒(méi)有公布吨岭。我們是通過(guò)在google assistant 使用關(guān)鍵字去調(diào)起我們提供的action的脸爱，所以對(duì)于關(guān)鍵字如何被審核，這個(gè)問(wèn)題還要等google 的答復(fù)未妹。
Google Search 提供的語(yǔ)音交互方式
這是基于android的開(kāi)發(fā)支持語(yǔ)音交互的app的谷歌的一次嘗試簿废，通過(guò)Google Search 直接語(yǔ)音控制我們開(kāi)發(fā)的app，分為兩部分络它。
1.system voice action
顧名思義族檬，指的是語(yǔ)音操作系統(tǒng)命令，支持的命令類(lèi)型包括：Alarm actions化戳，Communication actions单料，F(xiàn)itness actions，Local actions点楼，Media actions等扫尖，具體鏈接如下：系統(tǒng)命令列表
集成的話(huà)，大致三個(gè)步驟：
1. 在 Minestfest 中的 actvity標(biāo)簽下 寫(xiě) intent-filter(只能使用google 預(yù)先定義好的掠廓，才會(huì)被識(shí)別并響應(yīng))
2. 處理獲取到的intent
3. 響應(yīng)并更新應(yīng)用狀態(tài)
2.Voice interaction
這部分换怖，區(qū)別于系統(tǒng) action ，用戶(hù)可以自定義對(duì)話(huà)并進(jìn)行響應(yīng)蟀瞧。
主要的交互通過(guò)VoiceInteractor (api 23后加入)和VoiceInteractionService (api 21 后加入)來(lái)實(shí)現(xiàn)沉颂。
Google 提供的會(huì)話(huà)接口包，需要完成三部分工作：
1.給用戶(hù)的提示語(yǔ)
2.期望獲取到的答案
3.對(duì)于回答的回調(diào)處理事務(wù)
交互相關(guān)的工作全部交由google處理
具體示例代碼,以語(yǔ)音拍照為例子:
private void startVoiceTrigger() {
Log.d(TAG, "startVoiceTrigger: ");
Option option = new Option("cheese", 1);
option.addSynonym("ready");
option.addSynonym("go");
option.addSynonym("take it");
option.addSynonym("ok");
VoiceInteractor.Prompt prompt = new VoiceInteractor.Prompt("Say Cheese");
getActivity().getVoiceInteractor()
.submitRequest(new PickOptionRequest(prompt, new Option[]{option}, null) {
@Override
public void onPickOptionResult(boolean finished, Option[] selections, Bundle result) {
if (finished && selections.length == 1) {
Message message = Message.obtain();
message.obj = result;
takePicture();
} else {
getActivity().finish();
tearDown();
}
}
@Override
public void onCancel() {
getActivity().finish();
tearDown();
}
});
}
結(jié)語(yǔ)
Actions on Google 是 google 16年底發(fā)布的語(yǔ)音會(huì)話(huà)集成方式悦污，可以提供給各類(lèi)平臺(tái)使用铸屉，現(xiàn)在還處于建設(shè)階段，現(xiàn)階段還無(wú)法實(shí)現(xiàn)語(yǔ)音購(gòu)物等這些實(shí)際的功能切端，這些都是已廣泛的深入的合作為基礎(chǔ)的彻坛，未來(lái)的目標(biāo)則是為各種硬件做服務(wù)，讓硬件能夠“聽(tīng)懂”人話(huà)，這是google的目標(biāo)之一昌屉。
Google Search 提供的語(yǔ)音交互方式钙蒙，是在 15年提出的，滿(mǎn)足了android平臺(tái)一些語(yǔ)音交互的需求怠益，但總的來(lái)說(shuō)，不夠智能瘾婿，需要預(yù)設(shè)答案 蜻牢。但是相信未來(lái)會(huì)和actions on google 結(jié)合起來(lái)，變的更加好用偏陪。
網(wǎng)址鏈接
api.ai 構(gòu)建自己的會(huì)話(huà)式應(yīng)用
如何在google assistant 上 發(fā)布自定義的action
