本文已獲得“AI產(chǎn)品經(jīng)理大本營(yíng)授權(quán)”，如何制定針對(duì)自然語(yǔ)言語(yǔ)音交互系統(tǒng)的評(píng)價(jià)體系效五？有沒(méi)有通用的標(biāo)準(zhǔn)地消？例如在車(chē)載環(huán)境中，站在用戶(hù)角度畏妖，從客觀脉执，主觀角度的評(píng)價(jià)指標(biāo)？@胡含戒劫、@我偏笑半夷、@艷龍 等朋友就分享了不少干貨心得；最近幾天迅细，在@飛艷 同學(xué)的協(xié)助整理下巫橄，Hanniman又補(bǔ)充了一些信息，最終形成這篇文章茵典，以饗大家湘换。

本文，具體介紹了下面5大方面的行業(yè)實(shí)戰(zhàn)評(píng)價(jià)指標(biāo)：

一、語(yǔ)音識(shí)別

二彩倚、自然語(yǔ)言處理

三筹我、語(yǔ)音合成

四、對(duì)話(huà)系統(tǒng)

五署恍、整體用戶(hù)數(shù)據(jù)指標(biāo)

1

語(yǔ)音識(shí)別ASR

語(yǔ)音識(shí)別（Automatic Speech Recognition）崎溃，一般簡(jiǎn)稱(chēng)ASR，是將聲音轉(zhuǎn)化為文字的過(guò)程盯质，相當(dāng)于人類(lèi)的耳朵袁串。

1、識(shí)別率

看純引擎的識(shí)別率呼巷，以及不同信噪比狀態(tài)下的識(shí)別率（信噪比模擬不同車(chē)速囱修、車(chē)窗、空調(diào)狀態(tài)等）王悍，還有在線(xiàn)/離線(xiàn)識(shí)別的區(qū)別破镰。

實(shí)際工作中，一般識(shí)別率的直接指標(biāo)是“WER（詞錯(cuò)誤率压储，Word Error Rate）”

定義：為了使識(shí)別出來(lái)的詞序列和標(biāo)準(zhǔn)的詞序列之間保持一致鲜漩，需要進(jìn)行替換、刪除或者插入某些詞集惋，這些插入孕似、替換或刪除的詞的總個(gè)數(shù)，除以標(biāo)準(zhǔn)的詞序列中詞的總個(gè)數(shù)的百分比刮刑，即為WER喉祭。

公式為：

Substitution——替換

Deletion——?jiǎng)h除

Insertion——插入

N——單詞數(shù)目

3點(diǎn)說(shuō)明

1）WER可以分男女、快慢雷绢、口音泛烙、數(shù)字/英文/中文等情況，分別來(lái)看翘紊。

2）因?yàn)橛胁迦朐~蔽氨，所以理論上WER有可能大于100%，但實(shí)際中帆疟、特別是大樣本量的時(shí)候孵滞，是不可能的，否則就太差了鸯匹，不可能被商用坊饶。

3）站在純產(chǎn)品體驗(yàn)角度，很多人會(huì)以為識(shí)別率應(yīng)該等于“句子識(shí)別正確的個(gè)數(shù)/總的句子個(gè)數(shù)”殴蓬，即“識(shí)別（正確）率等于96%”這種匿级，實(shí)際工作中蟋滴，這個(gè)應(yīng)該指向“SER（句錯(cuò)誤率，Sentence Error Rate）”痘绎，即“句子識(shí)別錯(cuò)誤的個(gè)數(shù)/總的句子個(gè)數(shù)”津函。不過(guò)據(jù)說(shuō)在實(shí)際工作中，一般句錯(cuò)誤率是字錯(cuò)誤率的2~3倍孤页，所以可能就不怎么看了尔苦。

2、語(yǔ)音喚醒相關(guān)的指標(biāo)

先需要介紹下語(yǔ)音喚醒（Voice Trigger行施，VT）的相關(guān)信息允坚。

A）語(yǔ)音喚醒的需求背景：近場(chǎng)識(shí)別時(shí)，比如使用語(yǔ)音輸入法時(shí)蛾号，用戶(hù)可以按住手機(jī)上siri的語(yǔ)音按鈕稠项，直接說(shuō)話(huà)（結(jié)束之后松開(kāi)）；近場(chǎng)情況下信噪比（Signal to Noise Ratio, SNR）比較高鲜结，信號(hào)清晰展运，簡(jiǎn)單算法也能做到有效可靠。

但是在遠(yuǎn)場(chǎng)識(shí)別時(shí)精刷，比如在智能音箱場(chǎng)景拗胜，用戶(hù)不能用手接觸設(shè)備，需要進(jìn)行語(yǔ)音喚醒怒允，相當(dāng)于叫這個(gè)AI（機(jī)器人）的名字埂软，引起ta的注意，比如蘋(píng)果的“Hey Siri”误算，Google的“OK Google”，亞馬遜Echo的“Alexa”等迷殿。

B）語(yǔ)音喚醒的含義：簡(jiǎn)單來(lái)說(shuō)是“喊名字儿礼，引起聽(tīng)者（AI）的注意”。如果語(yǔ)音喚醒判斷結(jié)果是正確的喚醒（激活）詞庆寺，那后續(xù)的語(yǔ)音就應(yīng)該被識(shí)別蚊夫；否則，不進(jìn)行識(shí)別懦尝。

C）語(yǔ)音喚醒的相關(guān)指標(biāo)

a）喚醒率知纷。叫AI的時(shí)候，ta成功被喚醒的比率陵霉。

b）誤喚醒率琅轧。沒(méi)叫AI的時(shí)候，ta自己跳出來(lái)講話(huà)的比率踊挠。如果誤喚醒比較多乍桂，特別比如半夜時(shí)冲杀，智能音箱突然開(kāi)始唱歌或講故事，會(huì)特別嚇人的……

c）喚醒詞的音節(jié)長(zhǎng)度睹酌。一般技術(shù)上要求权谁，最少3個(gè)音節(jié)，比如“OK Google”和“Alexa”有四個(gè)音節(jié)憋沿，“Hey Siri”有三個(gè)音節(jié)旺芽；國(guó)內(nèi)的智能音箱，比如小雅辐啄，喚醒詞是“小雅小雅”采章，而不能用“小雅”——如果音節(jié)太短，一般誤喚醒率會(huì)比較高则披。

d）喚醒響應(yīng)時(shí)間共缕。之前看過(guò)傅盛的文章，說(shuō)世界上所有的音箱士复，除了Echo和他們做的小雅智能音箱能達(dá)到1.5秒图谷，其他的都在3秒以上。

e）功耗（要低）阱洪”愎螅看過(guò)報(bào)道，說(shuō)iPhone 4s出現(xiàn)Siri冗荸，但直到iPhone 6s之后才允許不接電源的情況下直接喊“Hey Siri”進(jìn)行語(yǔ)音喚醒承璃；這是因?yàn)橛?s上有一顆專(zhuān)門(mén)進(jìn)行語(yǔ)音激活的低功耗芯片，當(dāng)然算法和硬件要進(jìn)行配合蚌本，算法也要進(jìn)行優(yōu)化盔粹。

以上a、b程癌、d相對(duì)更重要舷嗡。

D）其他

涉及AEC（語(yǔ)音自適應(yīng)回聲消除，Automatic Echo Cancellation）的嵌莉，還要考察WER相對(duì)改善情況进萄。

2

自然語(yǔ)言處理NLP

自然語(yǔ)言處理（Natural Language Processing），一般簡(jiǎn)稱(chēng)NLP锐峭，通俗理解就是“讓計(jì)算機(jī)能夠理解和生成人類(lèi)語(yǔ)言”中鼠。

1、準(zhǔn)確率沿癞、召回率

附上之前文章《AI產(chǎn)品經(jīng)理需要了解的數(shù)據(jù)標(biāo)注工作入門(mén)》中援雇，分享過(guò)的一段解釋?zhuān)?/p>

準(zhǔn)確率：識(shí)別為正確的樣本數(shù)/識(shí)別出來(lái)的樣本數(shù)

召回率：識(shí)別為正確的樣本數(shù)/所有樣本中正確的數(shù)

舉個(gè)栗子：全班一共30名男生、20名女生椎扬。需要機(jī)器識(shí)別出男生的數(shù)量熊杨。本次機(jī)器一共識(shí)別出20名目標(biāo)對(duì)象曙旭，其中18名為男性，2名為女性晶府。則

精確率=18/（18+2）=0.9

召回率=18/30=0.6

再補(bǔ)充一個(gè)圖來(lái)解釋?zhuān)?/p>

2桂躏、F1值（精準(zhǔn)率和召回率的調(diào)和平均數(shù)）

模型調(diào)優(yōu)后追求F1值提升，準(zhǔn)確率召回率單獨(dú)下降在一個(gè)小區(qū)間內(nèi)川陆，整體F1值的增量也是分區(qū)間看（F1值在60%內(nèi)剂习，與60%以上肯定是不一樣的，90%以上可能只追求1%的提升）较沪。

P是精準(zhǔn)率鳞绕，R是召回率，F(xiàn)a是在F1基礎(chǔ)上做了賦權(quán)處理：Fa=（a^2+1）PR/（a^2P+R）

3

語(yǔ)音合成TTS

語(yǔ)音合成（Text-To-Speech）尸曼，一般簡(jiǎn)稱(chēng)TTS们何，是將文字轉(zhuǎn)化為聲音（朗讀出來(lái)），類(lèi)比于人類(lèi)的嘴巴控轿。大家在Siri等各種語(yǔ)音助手中聽(tīng)到的聲音冤竹，都是由TTS來(lái)生成的，并不是真人在說(shuō)話(huà)茬射。

主觀測(cè)試（自然度）鹦蠕，以MOS為主：

1、MOS（Mean Opinion Scores）在抛，專(zhuān)家級(jí)評(píng)測(cè)（主觀）钟病；1-5分，5分最好刚梭。

2肠阱、ABX，普通用戶(hù)評(píng)測(cè)（主觀）朴读。讓用戶(hù)來(lái)視聽(tīng)兩個(gè)TTS系統(tǒng)屹徘，進(jìn)行對(duì)比，看哪個(gè)好磨德。

客觀測(cè)試：

1缘回、對(duì)聲學(xué)參數(shù)進(jìn)行評(píng)估吆视，一般是計(jì)算歐式距離等（RMSE典挑，LSD）。

2啦吧、對(duì)工程上的測(cè)試：實(shí)時(shí)率（合成耗時(shí)/語(yǔ)音時(shí)長(zhǎng)）您觉，流式分首包、尾包授滓，非流式不考察首包琳水；首包響應(yīng)時(shí)間（用戶(hù)發(fā)出請(qǐng)求到用戶(hù)感知到的第一包到達(dá)時(shí)間）肆糕、內(nèi)存占用、CPU占用在孝、3*24小時(shí)crash率等诚啃。

4

對(duì)話(huà)系統(tǒng)

對(duì)話(huà)系統(tǒng)（Dialogue System），簡(jiǎn)單可以理解為Siri或各種Chatbot所能支持的聊天對(duì)話(huà)體驗(yàn)私沮。

1始赎、用戶(hù)任務(wù)達(dá)成率（表征產(chǎn)品功能是否有用以及功能覆蓋度）

1）比如智能客服，如果這個(gè)Session最終是以接入人工為結(jié)束的仔燕，那基本就說(shuō)明機(jī)器的回答有問(wèn)題造垛。或者重復(fù)提供給用戶(hù)相同答案等等晰搀。

2）分專(zhuān)項(xiàng)或分意圖的統(tǒng)計(jì)就更多了五辽，不展開(kāi)了。

2外恕、對(duì)話(huà)交互效率杆逗，比如用戶(hù)完成一個(gè)任務(wù)的耗時(shí)、回復(fù)語(yǔ)對(duì)信息傳遞和動(dòng)作引導(dǎo)的效率吁讨、用戶(hù)進(jìn)行語(yǔ)音輸入的效率等（可能和打斷髓迎，One-shot等功能相關(guān)）；具體定義建丧，各個(gè)產(chǎn)品自己決定排龄。

3、根據(jù)對(duì)話(huà)系統(tǒng)的類(lèi)型分類(lèi)翎朱，有些區(qū)別橄维。

1）閑聊型

A）CPS（Conversations Per Session，平均單次對(duì)話(huà)輪數(shù)）拴曲。這算是微軟小冰最早期提出的指標(biāo)争舞，并且是小冰內(nèi)部的（唯一）最重要指標(biāo)；

B）相關(guān)性和新穎性澈灼。與原話(huà)題要有一定的相關(guān)性竞川，但又不能是非常相似的話(huà)；

C）話(huà)題終結(jié)者叁熔。如果機(jī)器說(shuō)過(guò)這句話(huà)之后委乌，通常用戶(hù)都不會(huì)繼續(xù)接了，那這句話(huà)就會(huì)給個(gè)負(fù)分荣回。

2）任務(wù)型

A）留存率遭贸。雖然是傳統(tǒng)的指標(biāo)，但是能夠發(fā)現(xiàn)用戶(hù)有沒(méi)有形成這樣的使用習(xí)慣心软；留存的計(jì)算甚至可以精確到每個(gè)功能壕吹，然后進(jìn)一步根據(jù)功能區(qū)做歸類(lèi)著蛙，看看用戶(hù)對(duì)哪類(lèi)任務(wù)的接受程度較高，還可以從用戶(hù)的問(wèn)句之中分析發(fā)出指令的習(xí)慣去針對(duì)性的優(yōu)化解析和對(duì)話(huà)過(guò)程耳贬；到后面積累的特征多了踏堡，評(píng)價(jià)機(jī)制建立起來(lái)了，就可以上強(qiáng)化學(xué)習(xí)咒劲；比如：之前百度高考暂吉，教考生填報(bào)志愿，就是這么弄的缎患；

B）完成度（即慕的，前文提過(guò)的“用戶(hù)任務(wù)達(dá)成率”）。由于任務(wù)型最后總要去調(diào)一個(gè)接口或者觸發(fā)什么東西來(lái)完成任務(wù)挤渔，所以可以計(jì)算多少人進(jìn)入了這個(gè)對(duì)話(huà)單元肮街，其中有多少人最后調(diào)了接口；

C）相關(guān)的判导，還有（每個(gè)任務(wù)）平均slot填入輪數(shù)或填充完整度嫉父。即，完成一個(gè)任務(wù)眼刃，平均需要多少輪绕辖，平均填寫(xiě)了百分之多少的槽位slot。對(duì)于槽位的基礎(chǔ)知識(shí)介紹擂红，可詳見(jiàn)《填槽與多輪對(duì)話(huà) | AI產(chǎn)品經(jīng)理需要了解的AI技術(shù)概念》仪际。

3）問(wèn)答型

A）最終求助人工的比例（即，前文提過(guò)的“用戶(hù)任務(wù)達(dá)成率”相關(guān)）昵骤；

B）重復(fù)問(wèn)同樣問(wèn)題的比例树碱；

C）“沒(méi)答案”之類(lèi)的比例。

整體來(lái)說(shuō)变秦，行業(yè)一般PR宣傳時(shí)成榜，會(huì)更多的提CPS。其他指標(biāo)看起來(lái)可能相對(duì)太瑣碎或不夠高大上蹦玫，但是赎婚，實(shí)際工作中，可能CPS更多是面向閑聊型對(duì)話(huà)系統(tǒng)樱溉，而其他的場(chǎng)景挣输，可能更應(yīng)該從“效果”出發(fā)。比如饺窿，如果小孩子哭了歧焦，機(jī)器人能夠“哭聲安慰”移斩，沒(méi)必要對(duì)話(huà)那么多輪次肚医，反而應(yīng)該越少越好绢馍。

4、語(yǔ)料自然度和人性化的程度

目前對(duì)于這類(lèi)問(wèn)題肠套，一般是使用人工評(píng)估的方式進(jìn)行舰涌。這里的語(yǔ)料，通常不是單個(gè)句子你稚，而是分為單輪的問(wèn)答對(duì)或多輪的一個(gè)session瓷耙。一般來(lái)講，評(píng)分范圍是1~5分：

1分或2分：完全答非所問(wèn)刁赖，以及含有不友好內(nèi)容或不適合語(yǔ)音播報(bào)的特殊內(nèi)容搁痛；

3分：基本可用，問(wèn)答邏輯正確宇弛；

4分：能解決用戶(hù)問(wèn)題且足夠精煉鸡典；

5分：在4分基礎(chǔ)上，能讓人感受到情感及人設(shè)枪芒。

另外彻况，為了消除主觀偏差，采用多人標(biāo)注舅踪、去掉極端值的方式纽甘，是當(dāng)前普遍的做法。

5

整體用戶(hù)數(shù)據(jù)指標(biāo)

常規(guī)互聯(lián)網(wǎng)產(chǎn)品抽碌，都會(huì)有整體的用戶(hù)指標(biāo)悍赢；AI產(chǎn)品，一般也會(huì)有這個(gè)角度的考量货徙。

1泽裳、DAU（Daily Active User，日活躍用戶(hù)數(shù)破婆，簡(jiǎn)稱(chēng)“日活”）

在特殊場(chǎng)景會(huì)有變化涮总，比如在車(chē)載場(chǎng)景，會(huì)統(tǒng)計(jì)“DAU占比（占車(chē)機(jī)DAU的比例）”祷舀。

2瀑梗、被使用的意圖豐富度（使用率>X%的意圖個(gè)數(shù)）。

3裳扯、可嘗試通過(guò)用戶(hù)語(yǔ)音的情緒信息和語(yǔ)義的情緒分類(lèi)評(píng)估滿(mǎn)意度抛丽。

尤其對(duì)于生氣的情緒檢測(cè)，這些對(duì)話(huà)樣本是可以挑選出來(lái)分析的饰豺。比如亿鲜，有公司會(huì)統(tǒng)計(jì)語(yǔ)音中有多少是罵人的，以此大概了解用戶(hù)情緒。還比如蒿柳，在同花順手機(jī)客戶(hù)端中饶套，拉到最底下，有個(gè)一站式問(wèn)答功能垒探，用戶(hù)對(duì)它說(shuō)“怎么登錄不上去”和說(shuō)“怎么老是登錄不上去”妓蛮，返回結(jié)果是不一樣的——后者，系統(tǒng)檢測(cè)到負(fù)面情緒圾叼，會(huì)提示轉(zhuǎn)接人工蛤克。

結(jié)語(yǔ)

本篇分享，介紹了現(xiàn)在行業(yè)內(nèi)對(duì)語(yǔ)音交互系統(tǒng)的常見(jiàn)評(píng)價(jià)指標(biāo)夷蚊，一方面构挤，是提供給各位AI產(chǎn)品經(jīng)理以最接地氣的相關(guān)信息；另一方面惕鼓，也是希望大家基于這些指標(biāo)儿倒，打造出更好的產(chǎn)品體驗(yàn)效果。