今天讀了一篇關(guān)于intelligent user interface的文章腐泻，西北大學(xué)的團(tuán)隊(duì)開發(fā)了一款幫助演講者自動(dòng)換頁(yè)的工具，挺有意思的队询。從功能上來(lái)講派桩，具體分為兩類：第一種功能是direct control，就是演講者直接說(shuō)next/previous slide, please, 那么軟件自動(dòng)翻到下一頁(yè)或者前一頁(yè)蚌斩。這個(gè)就類似于我們直接使用Siri設(shè)置個(gè)提醒啊鬧表之類的铆惑，是很明確的command。
第二類更有意思，就是indirect control员魏，就是軟件會(huì)根據(jù)演講者說(shuō)出的words自動(dòng)匹配slide content丑蛤，并為其跳轉(zhuǎn)到相應(yīng)的slide。具體來(lái)講indirect control也分為兩種模式：第一種是linear presentation mode, 換言之就是默認(rèn)你是順序演講撕阎，這樣軟件需要作出的判斷就是當(dāng)你演講到當(dāng)前slide的結(jié)尾時(shí)幫助你換到下一頁(yè)受裹，這個(gè)操作的實(shí)現(xiàn)只需要簡(jiǎn)單的syntac match就可以了。第二種是probabilistic model虏束，這個(gè)模式下軟件會(huì)根據(jù)你的演講words匹配每一頁(yè)P(yáng)PT的內(nèi)容棉饶，然后根據(jù)概率跳轉(zhuǎn)到它推測(cè)的那一頁(yè)。這個(gè)功能的應(yīng)用場(chǎng)景是镇匀，比如有一個(gè)lecturer經(jīng)常參加講演照藻，每次基本上演講的是相同的內(nèi)容，但是還是需要為不同的場(chǎng)合決定不同的演講時(shí)間汗侵，subtopic等等幸缕，如果每次都需要重新組織PPT也挺煩人的，有了這個(gè)軟件的好處就是演講者可以自由地選擇topic晃择，然后軟件會(huì)自動(dòng)跳轉(zhuǎn)到對(duì)應(yīng)的頁(yè)面冀值，完全不用考慮PPT本身的organization。另一個(gè)場(chǎng)景就是演講時(shí)需要回答聽眾的問(wèn)題宫屠，那么針對(duì)某一頁(yè)P(yáng)PT手動(dòng)跳轉(zhuǎn)來(lái)跳轉(zhuǎn)去也比較蛋疼列疗，所以自動(dòng)化是一件好事：）。這個(gè)模式的核心就是隨機(jī)性浪蹂，不過(guò)也需要先說(shuō)明command抵栈，比如skip back 。
不過(guò)如果有這第二類更高端的黑科技坤次，干嘛還需要direct control呢古劲，原因在于軟件的準(zhǔn)確率也不是100%，如果沒(méi)有及時(shí)換頁(yè)演講者總歸得有個(gè)法子換頁(yè)啊缰猴。产艾。
所以問(wèn)題的關(guān)鍵變成如何匹配slide content和演講者的words，這點(diǎn)軟件的策略其實(shí)是只用做到shallow understanding滑绒，也就是syntac match闷堡，基于演講者的words和PPT內(nèi)容是比較consistent這個(gè)前提。具體來(lái)講分為兩部分：
1. 文本內(nèi)容識(shí)別疑故。軟件的做法是根據(jù)演講者words的變位來(lái)提升tolerance杠览，比如演講者說(shuō)了一個(gè)動(dòng)詞，那么軟件會(huì)追溯這個(gè)詞的詞根纵势，以及根據(jù)詞根演繹出的不同的時(shí)態(tài)踱阿，語(yǔ)態(tài)甚至名詞／形容詞形式管钳。如果是linear presentation mode, 那么只需直接根據(jù)location match就就可以了。如果是probabilistic match软舌，那么軟件會(huì)為每一頁(yè)slide設(shè)置一個(gè)初始值才漆，然后根據(jù)baye‘s law,來(lái)不斷更改他們的概率，直到某一頁(yè)slide dominantly win葫隙，那么軟件就會(huì)執(zhí)行跳轉(zhuǎn)栽烂。
2. 非文本內(nèi)容識(shí)別，比如slide 含有g(shù)raph恋脚，table等object腺办，那么這時(shí)候軟件會(huì)追蹤包含this table/graph之類的關(guān)鍵詞from 演講者words。
不過(guò)因?yàn)槭莝hallow match糟描，這個(gè)軟件也有缺點(diǎn)怀喉。那就是如果演講者使用的詞匯實(shí)際上不只是slide content的變位，而是連篇的paraphrase或者同義詞船响，那么軟件match的準(zhǔn)確率就會(huì)大打折扣躬拢。
這篇論文的鏈接在此：http://tinyurl.com/zom7q7r
