在“新時(shí)代 新發(fā)展”的清華五道口金融EMBA&EE 2018年新年思想?yún)R活動(dòng)中何恶，清華大學(xué)計(jì)算機(jī)系人交互與媒體集成研究所長缩搅、信息科技術(shù)國家實(shí)驗(yàn)室普適計(jì)算研究部主任弓摘、全球創(chuàng)新學(xué)院 (GIX) 學(xué)院院長史元春陨瘩，進(jìn)行了題為“智能交互——讓機(jī)器更懂你”的分享。
她認(rèn)為在普適計(jì)算機(jī)時(shí)代逊脯，隨著更多的嵌入式設(shè)備的出現(xiàn)优质，如何更加自然地進(jìn)行人機(jī)之間的信息交換具有重要意義【荩 史元春指出巩螃，在計(jì)算機(jī)幾十年的發(fā)展過程中，人機(jī)交互也就是人和機(jī)器之間的信息交換的技術(shù)匕争，我們可以不夸張的說避乏，也是一項(xiàng)引領(lǐng)性的技術(shù)。而人工智能和大數(shù)據(jù)的進(jìn)步使人機(jī)交互成為現(xiàn)實(shí)汗捡、可用淑际。
史元春認(rèn)為畏纲，人機(jī)交互的目的是為了讓機(jī)器更懂“你”扇住，讓用戶更加自如。她還通過“胖手指”盗胀、“空中打字”等案例分享了人機(jī)交互領(lǐng)域一些前沿的技術(shù)突破艘蹋。
“智能技術(shù)的研究，也就是我們把一些模糊和用戶行為習(xí)慣識(shí)別為具體票灰、準(zhǔn)確交互意圖的研究女阀，大有可為”，史元春認(rèn)為屑迂，未來有望通過數(shù)據(jù)采集和建模來捕捉用戶的所有姿態(tài)和行為浸策，從而生產(chǎn)出真正理解用戶的手機(jī)，讓手機(jī)交互行為的感知更加精準(zhǔn)和智能惹盼。
史元春表示庸汗，人工智能技術(shù)的深度應(yīng)用，能做到從模糊的行為習(xí)慣中解讀出準(zhǔn)確的意圖手报，將為未來人機(jī)共生提供可靠的技術(shù)基礎(chǔ)蚯舱。
以下為史元春演講實(shí)錄：
各位下午好，非常榮幸有這個(gè)機(jī)會(huì)和五道口金融學(xué)院的老師和學(xué)生們交流掩蛤，我叫史元春枉昏。我跟大家的經(jīng)歷不太一樣，來自于計(jì)算機(jī)系揍鸟。并且我在這個(gè)學(xué)校和計(jì)算機(jī)系有30多年了兄裂，從學(xué)生到老師。簡介中談到我是GIX學(xué)院院長。GIX的英文叫Global Innovation Exchange懦窘，是清華大學(xué)全球創(chuàng)新學(xué)員前翎，它也是清華第一個(gè)在海外辦起來的學(xué)院。
是我們在兩年多以前在美國的西雅圖和華盛頓大學(xué)聯(lián)合創(chuàng)辦畅涂，也很歡迎我們更多的五道口金融學(xué)院的同學(xué)港华，能夠有機(jī)會(huì)去西雅圖，我們清華那樣一個(gè)特別的學(xué)區(qū)來學(xué)習(xí)和交流午衰。
今天這個(gè)演講的題目是關(guān)于我的科研的立宜，科目叫智能交互。這里的交互是指人機(jī)交互臊岸。我們知道計(jì)算機(jī)的發(fā)展歷史只有幾十年橙数，不是很長，但是這幾十年來它已經(jīng)和正在為我們的社會(huì)發(fā)展帶來了巨大的變化帅戒，在計(jì)算機(jī)幾十年的發(fā)展過程中灯帮，人機(jī)交互也就是人和機(jī)器之間的信息交換的技術(shù)，我們可以不夸張的說逻住，也是一項(xiàng)引領(lǐng)性的技術(shù)钟哥。
從我的這個(gè)表上大家應(yīng)該可以看的出來，隨著接口技術(shù)的變化瞎访，交互模式也發(fā)生了變化腻贰，計(jì)算機(jī)從實(shí)驗(yàn)室、機(jī)房已經(jīng)走到了我們的辦公室扒秸、家庭播演，甚至今天已經(jīng)都走到了我們的手上，計(jì)算機(jī)的臺(tái)數(shù)也發(fā)生了極大的數(shù)量級(jí)變化伴奥。
到了今天写烤，我們已經(jīng)走到了所謂的普適計(jì)算的時(shí)代，也就是說在我們的工作和生活的很多方面拾徙，我們有特殊的手持的設(shè)備洲炊，像今天的手機(jī)，也有更多的嵌入式的系統(tǒng)锣吼，像家電設(shè)備选浑，還有更多實(shí)業(yè)以及社會(huì)生活場景會(huì)有越來越多這樣的設(shè)備，我們?nèi)藗儠?huì)有更多玄叠、更頻繁的古徒，并且希望與更自然的方式，和這個(gè)機(jī)器發(fā)生著關(guān)系读恃。
也就是說我們可能會(huì)與手持的設(shè)備隧膘、家電的設(shè)備代态、穿戴的設(shè)備，機(jī)器人和無人車疹吃，以更自然的模態(tài)蹦疑，G比如說包括用語音、用語義豐富的手勢萨驶，甚至是我們?nèi)粘５男袨榍复荩诤芏嗟膱鼍爸校梢愿鷻C(jī)器的系統(tǒng)腔呜，計(jì)算的系統(tǒng)發(fā)生互動(dòng)叁温，有效的來進(jìn)行信息訪問和信息系統(tǒng)提供給我們的現(xiàn)實(shí)服務(wù)。這些接口核畴、終端和任務(wù)膝但，我都在我們使用過程中，首位的自然谤草，就是需要我們的人不需要那樣很精準(zhǔn)的表達(dá)跟束，是一種模糊的表達(dá)和傳達(dá)的方式。
但是丑孩，在機(jī)器端能夠給我們精準(zhǔn)的理解和服務(wù)冀宴。
我們今天的這些交互方式其實(shí)還是很規(guī)范的，甚至我們都在用的手機(jī)嚎杨，它是一個(gè)嚴(yán)謹(jǐn)?shù)慕Y(jié)構(gòu)花鹅，一個(gè)抽象的概念氧腰，我們有一點(diǎn)的學(xué)習(xí)甚至是記憶的附和枫浙，還要有比較準(zhǔn)確的表達(dá)。
如果要實(shí)現(xiàn)這個(gè)人的模糊的表達(dá)古拴，到精準(zhǔn)的服務(wù)之間箩帚，需要克服這樣一些技術(shù)挑戰(zhàn)：
比如我們的交互意圖很內(nèi)在，那么我們獲得的數(shù)據(jù)隨機(jī)性很大黄痪，用故行為的差異性也非常大紧帕，應(yīng)用的場景也是各式各樣的。因此桅打，這些問題需要我們在相應(yīng)的研究中來進(jìn)行克服是嗜，并且人機(jī)交互它既包括我們所使用的各種直接的、離用戶很近的接口也包括一個(gè)交互過程的優(yōu)化挺尾。這里我簡單看看接口鹅搪，它應(yīng)該保包括從我們?nèi)藱C(jī)交互的研究來看，包括計(jì)算機(jī)用戶遭铺，輸入接口和計(jì)算機(jī)處理結(jié)果丽柿，反饋給用戶的輸出接口恢准。
從輸入來看也就是說我們的人意念產(chǎn)生了一個(gè)訪問的請(qǐng)求，當(dāng)然未來如果我們的腦機(jī)接口的技術(shù)甫题，也就是所謂讀腦的技術(shù)能夠發(fā)明的話馁筐，那我們就可以直接來獲取這個(gè)用戶的意圖。但是坠非，大家可以看到我這個(gè)圖上畫的還是一個(gè)虛線敏沉，今天還是不太現(xiàn)實(shí)的，那么我們的意念還是要通過我們的行為系統(tǒng)傳達(dá)給機(jī)器炎码。
我們的行為可以是在使用工具赦抖，也可以剛才講到，像自然語言和各種姿態(tài)辅肾。
今天在我們的傳感技術(shù)和識(shí)別的技術(shù)都有了很多的進(jìn)步队萤，比如說大家用的這個(gè)手機(jī)屏，可能留了一個(gè)小劉海矫钓，今天的大手機(jī)屏要尔，那是因?yàn)槟莻€(gè)上面有10幾個(gè)傳感器，還不能在屏下新娜，只能單獨(dú)的露出來赵辕。我們現(xiàn)在的家庭里面可能已經(jīng)有智能音箱來幫助我們服務(wù)，這個(gè)是語音識(shí)別技術(shù)的進(jìn)步概龄。甚至于人臉識(shí)別已經(jīng)變成了我們這種身份ID还惠。
這些技術(shù)實(shí)際上在幾十年前都已經(jīng)提出來，最近的人工智能和大數(shù)據(jù)的進(jìn)步使得成為現(xiàn)實(shí)私杜、可用蚕键。但是，在交互接口上還有很多需要優(yōu)化和需要?jiǎng)?chuàng)新的的一些方面衰粹。這里我舉兩個(gè)具體的例子：
大家都有用手機(jī)锣光，手機(jī)上面我們還是要有我們本輸入這樣一個(gè)基本的任務(wù)的。大家在用微信铝耻，今天這個(gè)場合也有幾個(gè)人在用誊爹，這個(gè)時(shí)候你通常是在敲，而不是用語音識(shí)別瓢捉，因?yàn)樾枰粋€(gè)靜默的環(huán)境频丘。你敲的時(shí)候，大家如果用過電腦的話泡态，你會(huì)覺得你的速度比用物理鍵盤慢了一倍搂漠，為什么慢?這就是人機(jī)交互中很典型的一個(gè)問題“胖手指問題”，是因?yàn)槲覀兊氖种甘蘖蓿h(yuǎn)比我們點(diǎn)擊的對(duì)象要模糊的多状答。也就是對(duì)象的精準(zhǔn)點(diǎn)擊冷守，用我們的fat finger是很難完成的，所以點(diǎn)不準(zhǔn)你就慢下來了惊科。
今天在場有不少人也戴了智能手表拍摇，就像這個(gè)圖一樣，我可以給你裝一個(gè)軟件馆截，也會(huì)有一個(gè)軟件全鍵盤充活，但有人會(huì)用嗎?你肯定想著我不會(huì)用，因?yàn)榕c我們在手機(jī)上進(jìn)行輸入的速度和體驗(yàn)來說蜡娶，2毫米的小鍵盤根本不可能用混卵，這是一個(gè)典型的fat finger問題。
可以給大家看一個(gè)我們在實(shí)驗(yàn)室的研究結(jié)果窖张，我們在手機(jī)上做了一個(gè)全鍵盤幕随，會(huì)看到輸入的速度還是可以接受的，實(shí)際速度一個(gè)實(shí)測的結(jié)果宿接，跟你在用手機(jī)進(jìn)行輸入的速度是一樣的赘淮，每秒30-40個(gè)字左右。這是靠我們對(duì)電容圖像的智能處理和自然語言模型相結(jié)合獲得的結(jié)果睦霎，在一定程度上克服了所謂的胖手指問題梢卸。
用同樣的原理，我們還可以提供比如現(xiàn)在手機(jī)上很現(xiàn)實(shí)的技術(shù)副女，叫防誤觸蛤高。手機(jī)的屏幕現(xiàn)在越來越大，有全面屏和曲面屏碑幅，同時(shí)也會(huì)帶來一個(gè)問題戴陡，你握著它的時(shí)候會(huì)誤處。
同樣我們在多特征的圖像處理算法上的一些進(jìn)展枕赵，使得我們在防誤觸上有比較大的進(jìn)步猜欺。最近華為剛發(fā)布的mate10以及剛剛在美國發(fā)布的位隶，相信在座也有人在用這個(gè)手機(jī)拷窜，如果你再用它的話，它上面每秒120次涧黄，一直在運(yùn)行篮昧，是一個(gè)高性能的算法，就是我們實(shí)驗(yàn)室給它做出來的笋妥。
這個(gè)做的結(jié)果是什么?是從其他原有產(chǎn)品懊昨，誤觸率在13%，這個(gè)體驗(yàn)很不好春宣，我們給它的算法直接降到0.3%酵颁，這個(gè)體驗(yàn)還是非常好嫉你。
自然交互中，我們還很期待一些很科幻的場景躏惋，比如我們在很多科幻片中會(huì)有這樣的幽污，像手勢、姿態(tài)的交互和識(shí)別簿姨。實(shí)際上手勢識(shí)別或者姿態(tài)的識(shí)別距误，在人機(jī)交互是一個(gè)很難的命題，像一些具體的任務(wù)上扁位，比如空中打字准潭，也就是我抬手，現(xiàn)在很多人有盲打的能力域仇，實(shí)際上你一抬手就在敲你想打的字刑然，你已經(jīng)有了這個(gè)習(xí)慣。
在20多年前暇务，大家就已經(jīng)設(shè)想闰集，未來應(yīng)該能夠?qū)崿F(xiàn)這樣的技術(shù)。這個(gè)圖雖然不是很清楚般卑，右下角是蘋果20多年前曾經(jīng)設(shè)想的武鲁，在臺(tái)式機(jī)上，不用這個(gè)鍵盤蝠检，抬手就可以打字沐鼠。
上面這個(gè)照片，是我在hollow lens即將發(fā)布的時(shí)候叹谁，在微軟的時(shí)候帶著它的饲梭，今天如果你帶了hollow lens，就是VR焰檩、AR的技術(shù)使得我們眼前可以呈現(xiàn)三維的虛擬對(duì)象憔涉，那么你跟他進(jìn)行交互的時(shí)候，我那個(gè)照片在打的時(shí)候析苫，因?yàn)閔ollow lens只支持這樣一個(gè)動(dòng)作兜叨。那么它的軟鍵盤在我面前，我只能一個(gè)一個(gè)的點(diǎn)衩侥，并且非常不準(zhǔn)確国旷。
看一下我們做的實(shí)驗(yàn)結(jié)果，對(duì)人在空中打字行為所攜帶的信息量充分挖掘而進(jìn)行建模茫死。處理充分挖掘是說跪但，我們的主動(dòng)手、被動(dòng)手峦萎，主動(dòng)手指屡久、被動(dòng)手指忆首，以及位置隨意的變化、落點(diǎn)和語言模型的結(jié)合被环，可以使得我們實(shí)現(xiàn)幾十年的理想雄卷，科幻的一個(gè)結(jié)果。實(shí)際上用這樣的技術(shù)蛤售，我們還可以實(shí)現(xiàn)很多場景下跟蹤丁鹉、交互和自動(dòng)理解用戶的意圖。
交互意圖的理解悴能，我們建立了一套揣钦，通過數(shù)據(jù)采集、行為建模以及AI的一些分類算法漠酿，最終實(shí)現(xiàn)特定交互任務(wù)的一套研究方法和體系冯凹。我們把它用在手機(jī)上，目前希望能有更多的捕捉炒嘲，因?yàn)槭謾C(jī)上其實(shí)大家不知道宇姚，里面有非常多的傳感器，并且進(jìn)去更多所謂的building sensor夫凸，還會(huì)專門從體系結(jié)構(gòu)上制造一個(gè)sensor heart的出現(xiàn)浑劳，我們可能能夠捕捉更多外在用戶的心態(tài)夭拌，包括臥姿、面部甚至眼神等能力鸽扁，我們會(huì)提供一個(gè)手機(jī)交互全行為感知的能力，未來大家在使用手機(jī)上會(huì)有更好的體驗(yàn)桶现。
從這個(gè)角度躲雅，所謂智能技術(shù)的研究，也就是我們把一些模糊和用戶行為習(xí)慣識(shí)別為具體骡和、準(zhǔn)確交互意圖的研究，大有可為噪生。即便從我們今天在手機(jī)這個(gè)問題上來看，我們也僅僅剛剛開始东囚。大家不要以為我們今天的智能手機(jī)只是10年前才有，其實(shí)30年前就有战授，這是美國很普及的一本雜志叫《大眾科學(xué)》页藻，這是它1995年的封面文章，這個(gè)圖上大家注意到璃吧，是1988年左右帕克研制的智能手機(jī)废境，實(shí)際上是iPhone原型系統(tǒng)。這cap model當(dāng)時(shí)有各種計(jì)算噩凹、傳感和應(yīng)用，以及識(shí)別的能力驮宴。
這個(gè)照片上我們可以看到，它跟我們?nèi)祟惖乃枷胝呔o密的結(jié)合在一起修己，共同互相了解和支持迎罗，更多的發(fā)現(xiàn)世界和獲得能力的過程。隨著計(jì)算超速手機(jī)滲入到我們生活更多方面戴涝，智能技術(shù)的進(jìn)步钻蔑，也將為人機(jī)共生的美好前景提供支撐的技術(shù)。
很高興有這樣的機(jī)會(huì)跟大家分享咪笑，祝大家新年好!
