最近半年負(fù)責(zé)了一款智能領(lǐng)域相關(guān)的產(chǎn)品缎岗，主要是通過NLU（自然語言理解）技術(shù)，識別用戶提供的文本莺褒，然后推薦對應(yīng)的功能或者內(nèi)容掩缓。在負(fù)責(zé)期間，體驗最深的一點(diǎn)就是智能產(chǎn)品的不確定性癣朗。有句玩笑話說得好：什么叫智能拾因，就是有時候出現(xiàn)，有時候不出現(xiàn)旷余，就叫智能绢记。這個玩笑話，一方面是對智能產(chǎn)品的總結(jié)正卧，智能產(chǎn)品就是在“猜”蠢熄，猜測用戶的意圖。至于為什么要猜炉旷，因為用戶不會真實告訴你想要什么签孔，用戶甚至都不知道自己想要什么，所以只能靠“猜”窘行。當(dāng)然饥追，另一方面其實也是對于智能產(chǎn)品現(xiàn)狀的諷刺，目前受限于人工智能的技術(shù)限制罐盔，現(xiàn)在確實沒辦法做到非常智能的表現(xiàn)但绕，很多時候我們會戲稱為“人工智障”。作為產(chǎn)品經(jīng)理，這時候不能僅僅是無奈捏顺，首先就需要擁抱這種不確定性六孵，因為這種不確定性將會貫穿產(chǎn)品的生命周期。其次幅骄，產(chǎn)品需要想方設(shè)法通過一些策略來規(guī)避不確定性對產(chǎn)品表現(xiàn)帶來的影響劫窒。
為什么智能產(chǎn)品會存在不確定性
簡單聊聊智能產(chǎn)品為什么會存在不確定性，先來看看現(xiàn)在能接觸到的智能產(chǎn)品以及背后的技術(shù)都有哪些：
· 支付寶的指紋識別拆座、人臉識別：圖像識別
· 手機(jī)的語音助手：語音語義識別
· 淘寶主巍、今日頭條的信息流：推薦系統(tǒng)
以圖像識別為例，說說人工智能技術(shù)的邏輯：
這些產(chǎn)品采用的技術(shù)可以分為以下幾種：
監(jiān)督學(xué)習(xí)：以水果分類為例子挪凑，在我們嬰兒時期煤禽，我們并不知道什么是蘋果什么是梨。是隨著我們慢慢學(xué)習(xí)岖赋，然后才認(rèn)識這兩種水果檬果。那么APP怎么識別呢？首先也需要有學(xué)習(xí)的過程唐断，需要事先知道一批水果是蘋果或者梨选脊。然后把這批水果分成兩部分，第一部分用來訓(xùn)練我們的識別模型（即學(xué)習(xí)的過程）脸甘。另一部分用來驗證（可以認(rèn)為是考試）恳啥，當(dāng)我們驗證的效果高于某個值，比如準(zhǔn)確率達(dá)到99%丹诀，我們就可以認(rèn)為這個模型有效钝的。這個模型就可以后續(xù)用來識別蘋果或者梨這兩種水果了。監(jiān)督學(xué)習(xí)的特征在于我們事先知道了一些水果的分類铆遭。上述的產(chǎn)品基本都屬于監(jiān)督學(xué)習(xí)硝桩。
無監(jiān)督學(xué)習(xí)：無監(jiān)督學(xué)習(xí)以聚類為主，比如有兩棵樹枚荣，一棵蘋果樹和一棵梨樹碗脊，工人采集完水果之后就隨便扔到了樹下，這時候要對樹下的水果進(jìn)行分類橄妆。由于工人是隨便扔的衙伶，那么蘋果肯定離蘋果樹比較近，梨離梨樹比較近害碾。我們不需要知道水果長什么樣子矢劲，也不需要知道他們長什么樣子，只要算一下水果之間的距離慌随，就可以把水果分成兩堆芬沉。對于無監(jiān)督學(xué)習(xí)，我們并不知道他們的特征，而是依靠他們之間的關(guān)系來判定的花嘶。
增強(qiáng)學(xué)習(xí)：阿爾法狗（就是打敗柯潔的那個）就是用這種算法的宇色，但是具體比較復(fù)雜基显，有興趣可以自行了解一下。
為什么人工智能要用這些技術(shù)碧浊，我們以人臉識別為例笛园，你為什么能識別出一個人隘击？首先你肯定要見過，并且留下過比較深的印象研铆。然后再次遇到的時候埋同，你就會將遇到的人和腦海里的人進(jìn)行比較，然后達(dá)到一定相似度的時候棵红，你就會認(rèn)出這個人是誰誰誰凶赁。
這個過程分為：認(rèn)識-記憶-遇到-比對-識別，那么對應(yīng)過來逆甜，監(jiān)督學(xué)習(xí)的樣本可以認(rèn)為是認(rèn)識的過程虱肄，訓(xùn)練模型就是記憶的過程，為了防止記憶有問題交煞，我們還加了一個驗證的過程咏窿。最后就是遇到，然后比對和識別素征，整個流程是類似的集嵌。人尚且會認(rèn)錯人，那么模擬人的識別而仿造出來的系統(tǒng)會出錯自然也就不意外了御毅。
回到我負(fù)責(zé)的產(chǎn)品根欧，是一款NLU產(chǎn)品，NLU全稱叫自然語言理解端蛆，“自然語言”就是指我們說的話咽块。每個人習(xí)慣不同，知識水平不同欺税，說出來的話也不同侈沪。比如說表達(dá)喜歡的話，普通人就一句“我喜歡你”晚凿，夏目漱石就會說“今晚月色真好”亭罪。這種表達(dá)不同帶給產(chǎn)品的就是：對于單獨(dú)的一句話，可以確定它的意思歼秽。但是對于表達(dá)同樣意思的所有話应役，不敢保證所有的話都能被識別出來，因為無法窮舉或者明確定義，所以會帶來不確定性箩祥。
產(chǎn)品定義的確定性
智能產(chǎn)品的不確定性是天生的院崇，產(chǎn)品經(jīng)理有義務(wù)從自身的系統(tǒng)搭建去盡量減少這種不確定。這種在產(chǎn)品上能做的袍祖，首先就是要通過明確產(chǎn)品的定義底瓣，從根源上盡量減少不確定性。以上面的例子來說蕉陋，“今晚月色真美”這種例子會被杜絕在外捐凭，首先是受眾上而言，大部分人不會用這種表達(dá)方式凳鬓。其次茁肠，存在歧義，這句話明面上就是夸獎月色的缩举，深層次才是表達(dá)喜歡的垦梆。所以這種有歧義的，在定義上的就需要杜絕仅孩。那么回到普通的喜歡奶赔，通過研究可以發(fā)現(xiàn)，句式一般是“人名（包括代詞）+喜歡（或者愛杠氢，或者養(yǎng)）+人名（包括代詞）”站刑。這個就是對于喜歡的定義，這個定義可以指導(dǎo)后續(xù)的樣本的選擇鼻百，樣本的選擇和標(biāo)注對于后續(xù)模型的訓(xùn)練是非常至關(guān)重要的一步绞旅，直接決定了模型的成敗。
智能產(chǎn)品有時候可以找到官方的定義温艇，這時候就可以直接應(yīng)用因悲，比如說火車號，火車號是有準(zhǔn)確定義的勺爱，參考如下：
高鐵：
G1-G9998晃琳、C1-C9998、D1-C9998琐鲁、Z1-Z9998卫旱、T1-T9998、K1-K9998
普通火車：
1001-5998围段、6001-7598顾翼、7601-8998、Y1-Y998
如果沒有明確的定義奈泪，那么就需要自己抽象出產(chǎn)品的定義适贸，用于指導(dǎo)后續(xù)的流程灸芳，有以下幾種方法：規(guī)則法、范圍法拜姿、枚舉法烙样，下面一一敘述。
規(guī)則法
上面描述的“我喜歡你”的定義蕊肥，就是規(guī)則法的應(yīng)用谒获。規(guī)則法有兩步：收集樣本、歸納規(guī)則晴埂。再舉一個例子，比如說什么是地址寻定，這個乍一看儒洛，大家可能都比較好識別，但是怎么描述地址呢狼速？我找了一圈也沒有找到官方的定義琅锻。所以我就跑到出現(xiàn)地址的地方，比如地圖向胡、美團(tuán)等應(yīng)用恼蓬，收集了周圍的地址，然后可以總結(jié)出來規(guī)則的一般形式有以下幾種：
1.長地址由以下的組成：
1.1 可以有 xx省僵芹、xx自治區(qū)处硬、xx特別行政區(qū)或者沒有
1.2 需要有 xx 市
1.3 可以有xx區(qū)、xx縣拇派、xx市或者沒有
1.4 可以有xx鎮(zhèn)荷辕、xx街道或者沒有
1.5 可以有xx村、xx鄉(xiāng)或者沒有
1.6 需要有xx街 或 xx路 或 xx道 或 xx巷 或 xx弄 或 xx園
1.7 需要有xx號
1.8 可以有 與xxx（比如與海德二路交匯處） 或 xx號
2. 特殊位置（工廠件豌、工業(yè)園疮方、產(chǎn)業(yè)園、科技園茧彤、科學(xué)園骡显、公園、寫字樓曾掂、小區(qū)）
注意有一點(diǎn)惫谤，規(guī)則法的重點(diǎn)在于定義的范圍是準(zhǔn)確的，求準(zhǔn)不求全珠洗。規(guī)則法得來的定義石挂，通常都是不完整的，不過沒關(guān)系险污，這個定義在后續(xù)的執(zhí)行過程中痹愚，都可以隨時更新的富岳。
范圍法
范圍法的運(yùn)用在智能產(chǎn)品的定義可能比規(guī)則還要寬泛，規(guī)則的難點(diǎn)在于怎么抽象拯腮，而范圍法在在于怎么劃定最終的范圍窖式。舉個簡單的例子，我們要識別餐館动壤，這個東西的定義就感覺完全找不到頭腦萝喘。“小炳勝”可以是一個餐館（當(dāng)然也可能是人名）琼懊，“張三餃子”也可以是一個餐館阁簸，這個完全沒有規(guī)律可言，這時候可以從整個流程的末端入手哼丈。識別是我們最開始的目的启妹，我們最終的目的其實是為了提供給用戶對應(yīng)的內(nèi)容或者服務(wù)。對于餐館醉旦，我們提供內(nèi)容其實是餐館的詳情饶米，比如餐館的評分啦，地址之類的车胡。這些評分從哪里來呢檬输？美團(tuán)，大眾點(diǎn)評都可以匈棘。
那么現(xiàn)在問題就比較簡單了丧慈，我們直接將前后兩個環(huán)節(jié)串起來，“餐館”的定義就可以定義成“大眾點(diǎn)評下美食類目下的店鋪”主卫，定義簡單明了伊滋。后續(xù)需要驗證也比較簡單，直接去大眾點(diǎn)評搜索一下就可以了队秩。
枚舉法
枚舉的意思是笑旺，針對有限的個數(shù)的類別，可以把這個類別的所有個體一一列舉出來馍资，這個叫枚舉筒主。比如，請枚舉10以內(nèi)的自然數(shù)鸟蟹，那么答案就是：0/1/2/3/4/5/6/7/8/9乌妙。枚舉法在智能產(chǎn)品里用到得比較少，不過我也用過建钥。我們有一次遇到的情況是要識別我們內(nèi)部自定義的一個新品牌藤韵，這時候我們就直接把品牌名稱當(dāng)成特征給到模型，定義也很簡單熊经，就是包含品牌名字時泽艘，我們都認(rèn)為符合產(chǎn)品定義欲险，然后就突出對應(yīng)的百科介紹。枚舉出來的當(dāng)然非常識別率非常高匹涮，不過相對應(yīng)的適用范圍也比較少天试。
樣本標(biāo)注的確定性
產(chǎn)品定義完了，和開發(fā)測試進(jìn)行評審然低，大家達(dá)成一致喜每，就可以開始繼續(xù)往下的工作了。前面講了雳攘，很多智能產(chǎn)品都是監(jiān)督學(xué)習(xí)带兜，依賴已經(jīng)知道了分類的樣本。那么怎么才能知道這些分類呢吨灭？答案就是人工去標(biāo)注刚照，然后把標(biāo)注完的結(jié)果給機(jī)器，相當(dāng)于給機(jī)器一個受教育學(xué)習(xí)的過程沃于。所以人工標(biāo)注得好不好涩咖，決定了模型學(xué)習(xí)得好不好海诲。就好比繁莹，你如果告訴學(xué)生“燒殺搶掠”是美德，那么他們就很大可能會變成流氓惡霸特幔；如果告訴他們要做“謙謙君子”咨演，那么他們就會變成另外一副模樣。
下面講講怎么保證樣本標(biāo)注的準(zhǔn)確性蚯斯。
1. 產(chǎn)品定義
樣本的標(biāo)注薄风，通常會有一個標(biāo)注團(tuán)隊，這是智能產(chǎn)品團(tuán)隊的標(biāo)配拍嵌。如果沒有專門的標(biāo)注團(tuán)隊遭赂，那么通常是由測試兼任。由于產(chǎn)品定義和標(biāo)注不是同一個人横辆，所以就要求產(chǎn)品定義要非常清晰撇他，準(zhǔn)確，可以用于指導(dǎo)標(biāo)注工作的進(jìn)行狈蚤。產(chǎn)品定義的時候困肩，可以和團(tuán)隊的其他成員充分討論，特別是之前有過相關(guān)經(jīng)驗的同事脆侮，可以查漏補(bǔ)缺锌畸。具體可以參考前面【產(chǎn)品定義的準(zhǔn)確性】的相關(guān)內(nèi)容。
2. 澄清評審
和其他需求一樣靖避，定義完之后也需要有一次正式的澄清潭枣，或者叫評審比默。澄清的目的是為了給大家講清楚產(chǎn)品的定義，在講的過程中卸耘，相關(guān)的成員會比單純的看感受更深退敦，更能激發(fā)討論。澄清的時候蚣抗，可能還有引起一波新的討論侈百，討論越多，對于產(chǎn)品的定義就會更加清晰翰铡，團(tuán)隊也更加能達(dá)成共識钝域。
3. 樣本采集
明確了標(biāo)準(zhǔn)之后，還缺失一個東西锭魔，樣本的采集例证。通常來講，一個品類至少要有50個以上的樣本迷捧，才能用于訓(xùn)練织咧。當(dāng)然更好的是可以達(dá)到100個以及以上，視不同的情況而定漠秋，這個通常會由算法工程師給出來笙蒙。那么這些樣本從哪里來呢？一個是研究機(jī)構(gòu)公開的樣本庫庆锦，通常是國外機(jī)構(gòu)官網(wǎng)可能會有捅位，可以谷歌一下。不過學(xué)術(shù)領(lǐng)域和工程領(lǐng)域的差別有點(diǎn)大搂抒，不一定適用艇搀。第二個是其他機(jī)構(gòu)的售賣，這種可以走商務(wù)關(guān)系進(jìn)行聯(lián)系求晶。第三種就是自行爬蟲爬取焰雕，通常是工程師根據(jù)產(chǎn)品的定義去爬取，然后清洗芳杏，最后形成可用的樣本矩屁。
4. 預(yù)標(biāo)注
標(biāo)準(zhǔn)有了，樣本有了蚜锨，還需要先進(jìn)行一輪預(yù)標(biāo)注的過程档插。預(yù)標(biāo)注可以先每種類別選取10個左右的樣本，先進(jìn)行標(biāo)注亚再，用于討論用郭膛。這個環(huán)節(jié)的作用在于，有時候我們覺得我們已經(jīng)知道了氛悬，但是真正開始上手的時候则剃，才知道自己的無知耘柱。這個就是為了預(yù)防這種情況的出現(xiàn)。先標(biāo)注一部分棍现，然后和團(tuán)隊討論调煎，防止標(biāo)注團(tuán)隊在錯誤的道路上越走越遠(yuǎn)，最后一發(fā)不可收拾己肮。這個就是這個環(huán)節(jié)最大的作用士袄。
5.?充分討論
針對預(yù)標(biāo)注的結(jié)果進(jìn)行討論，首先產(chǎn)品肯定需要校驗是否符合自己的定義谎僻，其次娄柳，開發(fā)也可以從第三方視野給予建議和意見。還有就是前面說了艘绍，除開官方的規(guī)則定義赤拒，其他規(guī)則都是保準(zhǔn)而不保全，那么就有可能有一些漏掉的诱鞠，或者模棱兩可的地方挎挖。這個時候就可以統(tǒng)一討論清楚，大家明確了共識之后航夺，該更新定義就更新定義蕉朵，該繼續(xù)標(biāo)注就繼續(xù)標(biāo)注。
6.?二次標(biāo)注
為了節(jié)約時間成本敷存，第二次標(biāo)注就可以進(jìn)行全量標(biāo)注了墓造。有了預(yù)標(biāo)注和討論之后堪伍，第二次的標(biāo)注普遍會更快更準(zhǔn)锚烦。
7. 抽樣驗證
針對全量標(biāo)注的結(jié)果，產(chǎn)品經(jīng)理還是需要進(jìn)行抽樣檢查帝雇，如果發(fā)現(xiàn)抽樣的結(jié)果涮俄，比如抽查了10個，發(fā)現(xiàn)很多都標(biāo)注不準(zhǔn)確尸闸，這時候就需要打回去重新標(biāo)注彻亲。如果標(biāo)注結(jié)果沒什么大問題，就可以給算法工程師進(jìn)行模型訓(xùn)練了吮廉。
8. 樣本充足
最后需要注意的一點(diǎn)是苞尝，前面講的50~100是一次訓(xùn)練的樣本量，如果模型需要經(jīng)過幾次的迭代的話宦芦，每次都需要這么多樣本量宙址。因為如果每次都逮著一批樣本的話，可能會造成一種“過擬合”的現(xiàn)象调卑，就是說模型針對這一批樣本抡砂，效果非常好大咱，但是卻喪失了普遍性，導(dǎo)致對于其他樣本結(jié)果很差注益。就類似如果對學(xué)生過分強(qiáng)調(diào)數(shù)學(xué)的重要性碴巾，有可能就會造成學(xué)生偏科一樣。所以樣本的數(shù)量要充足到可以支撐整個模型訓(xùn)練的全過程丑搔，保證最后的模型具備普適性厦瓢。
模型指標(biāo)的確定性
智能產(chǎn)品沒正式上線之前，誰都不知道具體的效果會怎么樣啤月。唯一知道的就是模型的指標(biāo)如何旷痕，模型指標(biāo)和上線標(biāo)準(zhǔn)是必要但不充分的關(guān)系。也就是說顽冶，模型指標(biāo)好欺抗，上線效果大概率好，但是也可能不好强重；但是如果模型指標(biāo)不好绞呈，那么上線效果一定會差。
智能產(chǎn)品的模型一般有幾個指標(biāo)：精確率（precision）间景、召回率（recall）和F1值（F1-Measure）【1】佃声。精確率可以定義為查準(zhǔn)率，比如想要預(yù)測景點(diǎn)倘要，那么就需要拿預(yù)測為景點(diǎn)并且真的是景點(diǎn)的樣本數(shù)量圾亏，除以預(yù)測為景點(diǎn)的樣本數(shù)量。召回率（真的好想吐槽這個翻譯封拧，直譯過來志鹃，非常抽象，導(dǎo)致一直都記不自笪鳌）可以定義為查全率曹铃。同樣以景點(diǎn)為例，分子是預(yù)測為景點(diǎn)并且真的是景點(diǎn)的樣本數(shù)量捧杉，分母是所有景點(diǎn)的樣本數(shù)量陕见。F1值是這兩個值的加權(quán)，有興趣可以戳最后的鏈接了解【1】味抖。精確率和召回率是互斥的评甜，如果想要提高精確率，那么就可能對召回率有點(diǎn)影響仔涩，反過來也一樣忍坷，舉個極端的例子，如果我把所有的預(yù)測結(jié)果都預(yù)測成景點(diǎn)，那么召回率就是100%承匣，但是精確率就會很慘蓖乘。
對于產(chǎn)品模型的指標(biāo)，精確率和召回率通常表現(xiàn)出來就是兩個百分?jǐn)?shù)韧骗，一般來講嘉抒，雙80%我們覺得比較適合的上線標(biāo)準(zhǔn)，雙90%是比較優(yōu)秀的標(biāo)準(zhǔn)袍暴。當(dāng)然具體數(shù)值還是需要和團(tuán)隊內(nèi)部達(dá)成一致來確定些侍。這個數(shù)值是非常確定的，確定完標(biāo)準(zhǔn)之后政模，整個團(tuán)隊都需要按照目標(biāo)一直迭代進(jìn)步岗宣，指標(biāo)達(dá)不到，最好不要上線淋样，否則效果很差耗式，這個是需要產(chǎn)品經(jīng)理把關(guān)好的。
還有一點(diǎn)要注意的是趁猴，模型的指標(biāo)還依賴模型的維護(hù)刊咳，上線之后，充分吸收真實環(huán)境下的結(jié)果反饋儡司，有利于提升模型的指標(biāo)娱挨，如果長時間不維護(hù)，那么大部分的模型都會越來越不準(zhǔn)確捕犬。
產(chǎn)品指標(biāo)的確定性
前面講了跷坝，對于智能產(chǎn)品而言，模型的數(shù)據(jù)不等同于真實上線的數(shù)據(jù)碉碉，他們是必要不充分的關(guān)系柴钻。模型的指標(biāo)數(shù)據(jù)可以當(dāng)做是開發(fā)給你交付的結(jié)果的衡量，但是對于產(chǎn)品而言誉裆，更加重要的是要制定自己給公司的交付物以及對應(yīng)衡量的指標(biāo)顿颅。產(chǎn)品指標(biāo)需要是確定的并且是正確的缸濒，可以指導(dǎo)產(chǎn)品朝著指定的方向前進(jìn)足丢。
產(chǎn)品指標(biāo)在不同階段可能不同，比如在啟動期或者爆發(fā)期庇配，可能以活躍量作為指標(biāo)斩跌，用戶量大的才能存活下去。產(chǎn)品成熟期捞慌，一般會以營收作為指標(biāo)耀鸦，營收才是產(chǎn)品能給公司提供的價值。衰減期的時候，要更加注重留存袖订，盡量延長產(chǎn)品的生命周期氮帐，多給公司增加營收。
在特定階段洛姑，一個產(chǎn)品的指標(biāo)有很多上沐，但是核心指標(biāo)一般不會很多，這幾個核心指標(biāo)可以指引產(chǎn)品前進(jìn)的方向楞艾。
通用指標(biāo)：
1. 營收相關(guān)指標(biāo)：我能掙多少錢参咙，這個對于公司來講尤為重要，比如說GMV硫眯、收入蕴侧、CPM等；
2. 活躍相關(guān)指標(biāo)：雖然我現(xiàn)在不能掙錢两入，但是我可以把盤子做大净宵，然后再考慮掙錢或者給其他業(yè)務(wù)導(dǎo)流，比如說：活躍裹纳、留存等塘娶；
領(lǐng)域指標(biāo)：
1、電商類產(chǎn)品通常用到的核心數(shù)據(jù)指標(biāo)有：「首單率」痊夭、「客單價」刁岸、「復(fù)購率」、「退款率」等她我；
2虹曙、社區(qū)類產(chǎn)品通常用到的核心數(shù)據(jù)指標(biāo)有：「活躍用戶數(shù)」、「帖子發(fā)布數(shù)」番舆、「互動用戶數(shù)」酝碳、「用戶對話數(shù)」、「留存率」等恨狈；
3疏哗、內(nèi)容類產(chǎn)品通常用到的核心數(shù)據(jù)指標(biāo)有：「用戶停留時長」、「跳出率」禾怠、「用戶互動比率」返奉、「留存率」等；
4吗氏、工具類產(chǎn)品通常用到的核心數(shù)據(jù)指標(biāo)有：「打開率」芽偏、「使用頻次」、「目標(biāo)達(dá)成率」弦讽、「分享率」等污尉；
5、游戲類產(chǎn)品通常用到的核心數(shù)據(jù)指標(biāo)有：「活躍用戶數(shù)」、「用戶在線時長」被碗、「付費(fèi)用戶比率」某宪、「留存率」等；
我的產(chǎn)品的指標(biāo)：
1. 轉(zhuǎn)化率：從產(chǎn)品的工具屬性出發(fā)锐朴，這個指標(biāo)能證明提供的服務(wù)是契合用戶需求的缩抡，是產(chǎn)品最核心的指標(biāo)，同時也是可以牽引整個團(tuán)隊前進(jìn)的指標(biāo)包颁，轉(zhuǎn)化率越高瞻想，說明我們預(yù)估的越準(zhǔn)；
2.?活躍量：從產(chǎn)品的內(nèi)容屬性出發(fā)娩嚼，如果活躍量達(dá)不到一定值蘑险，那么就無法吸引更多的CP來接入，就無法提供更多的服務(wù)岳悟。這個和轉(zhuǎn)化率存在矛盾性佃迄，比如活躍多了，轉(zhuǎn)化可能下降贵少，所以要求團(tuán)隊要在活躍量增長的情況下呵俏，維持轉(zhuǎn)化率不變或者稍微只降低一點(diǎn)點(diǎn)。當(dāng)然滔灶，還要保證【活躍量*轉(zhuǎn)化率】的不斷提升普碎，才能預(yù)示著產(chǎn)品在不斷向好發(fā)展。
預(yù)測反饋的確定性
數(shù)據(jù)指標(biāo)有利于牽引整體產(chǎn)品向既定方向去前進(jìn)录平，但是這種牽引只給了方向麻车，沒有給確切的方法，所以實操起來還需要有一些輔助斗这。模型的優(yōu)化动猬，雖然很大程度上依賴于算法工程師的努力。之前講了表箭，算法工程師也需要依賴樣本的準(zhǔn)確性赁咙，而依靠標(biāo)注而來的樣本始終是有限的，所以可以把這個標(biāo)注融入到產(chǎn)品中免钻，這就是結(jié)果的反饋系統(tǒng)彼水。
通過上面的圖可以看到，反饋系統(tǒng)增加了一個自下而上的渠道伯襟，通過將用戶的反饋加入到整個流程猿涨，可以幫助算法工程師優(yōu)化識別算法，以提升下一次識別結(jié)果的準(zhǔn)確率姆怪。同時，如果用戶還可以提供更加具體的產(chǎn)品意見的話，也可以幫助提升產(chǎn)品稽揭。最后俺附，反饋系統(tǒng)還是一個負(fù)向情緒的宣泄入口，用戶可以有地方宣泄自己的不滿溪掀，不至于覺得心里憋屈事镣。綜上，我覺得不僅是智能產(chǎn)品揪胃，所有產(chǎn)品都應(yīng)該考慮嵌入一個反饋系統(tǒng)璃哟。
反饋系統(tǒng)需要考慮用戶的接受程度：淺層反饋系統(tǒng)就是好評和差評；中層反饋系統(tǒng)就是好評喊递，+選擇差評原因随闪；深層反饋系統(tǒng)就是：好評+填寫差評原因。
淺層反饋系統(tǒng)
舉一個簡單的例子骚勘，上述是知乎的一個回答铐伴，上面的“贊同”和“反對”就是一個最淺層的反饋系統(tǒng)，用戶可以表達(dá)自己對于回答的正向或者負(fù)向的情緒俏讹。知乎收到用戶的反饋之后呢当宴，如果贊同數(shù)很多，反對數(shù)很少泽疆，那么會認(rèn)為這是一個好的回答户矢，下次有可能就會推薦給更多的用戶。這個系統(tǒng)同樣也適用于我的產(chǎn)品殉疼，如果用戶贊同了我們推薦的服務(wù)逗嫡，那么可能是我們識別對了用戶的意圖，那么算法就可以做對應(yīng)的調(diào)整株依；反之驱证，如果是反饋了我們的服務(wù)，那么算法同學(xué)就要分析錯誤的原因恋腕，下次做修正抹锄。
中層反饋系統(tǒng)
淺層反饋系統(tǒng)有個缺點(diǎn)，舉個例子荠藤，如果我們識別到用戶想去餐館伙单，然后推薦了了美團(tuán)對應(yīng)的服務(wù)。然后此時用戶給了反對哈肖，那么有可能有如下幾個原因：a.我們識別錯了用戶意圖吻育；b.我們識別對了，但是用戶想看大眾點(diǎn)評的結(jié)果淤井；c.流程沒問題布疼，但是用戶覺得響應(yīng)太慢了摊趾；諸如此類的原因分解可以有很多個，那么簡單的反對就沒辦法完整傳達(dá)用戶的意思游两，也可能造成誤解砾层。這時候，可以把可能的原因列出來贱案，注意不能多肛炮，大概3~5個，多了你就列為“其他”就可以了宝踪。
上圖就是一個典型的中層反饋系統(tǒng)侨糟，只列了3個原因，可以有效區(qū)分問題類型瘩燥，把算法問題（內(nèi)容錯誤或者不合理）篩選出來秕重，幫助算法提升。
深層反饋系統(tǒng)
在中層反饋系統(tǒng)中颤芬，用戶只有“選擇權(quán)”悲幅，但是“表達(dá)權(quán)”還缺少了一些，用戶無法暢所欲言站蝠，所以從用戶哪里獲取的信息就只會局限于實現(xiàn)限定的幾類汰具。深層反饋系統(tǒng)可以讓用戶暢所欲言，比如以下菱魔，一般還是有兩個步驟：
1.篩選反饋類型：這個還是需要做得留荔，方便后期的篩選工作；
2. 填寫用戶反饋語言澜倦，用戶分析用戶的意圖聚蝶；
可以參考下面微信的例子，不過微信體量大藻治，做到這么復(fù)雜都還是有比較多的反饋量碘勉，一般產(chǎn)品還是掂量一下自己的分量再學(xué)習(xí)。
反饋報告
上述反饋系統(tǒng)都是用戶層面的桩卵，說點(diǎn)業(yè)務(wù)層面的验靡。用戶反饋的時候，可以附帶一個叫“錯誤報告”之類的東西雏节，這個可是一個寶藏胜嗓。
錯誤報告可以上傳一些信息，幫助分析用戶狀態(tài)钩乍，比如：
系統(tǒng)版本號
客戶端版本號
用戶所在的場景（比如哪個APP）
所觸發(fā)的文字
預(yù)測的結(jié)果
這些可以有效還原用戶的場景辞州，幫助分析用戶的意圖，結(jié)合用戶的反饋寥粹，可以達(dá)到更好的分析效果变过。當(dāng)前需要注意埃元，一切用戶的數(shù)據(jù)獲取都需要合法合規(guī)。
總結(jié)一下牵啦，預(yù)測反饋的確定性：一是明確用戶的意圖亚情；二是明確用戶的場景妄痪。這兩點(diǎn)越明確越好哈雏，越能助力產(chǎn)品提升準(zhǔn)確率。
尾聲
智能產(chǎn)品的不確定性或許一開始會讓人感到痛苦衫生，不過仔細(xì)分析下來裳瘪，玩法還是比普通產(chǎn)品多很多的。不過智能產(chǎn)品也有一個特點(diǎn)罪针，就是見效慢彭羹，算法周期動輒幾個月，所以還需要有足夠的耐心去和自己負(fù)責(zé)的產(chǎn)品一起成長泪酱。
【1】準(zhǔn)確率派殷、精確率、召回率墓阀、F1值毡惜、ROC/AUC整理筆記https://blog.csdn.net/u013063099/article/details/80964865
