作者：梁東星? ? ? ? ? ? ? 班級(jí)：1402019? ? ? ? ? ? ? ? 學(xué)號(hào):14020199040

【嵌牛導(dǎo)讀】：本文的寫作目的是提供一個(gè)關(guān)于人機(jī)交互的概述蜒滩。概述包括人機(jī)交互的基本定義和術(shù)語(yǔ)，本領(lǐng)域中現(xiàn)有的技術(shù)和最新研究進(jìn)展的調(diào)查牺六，以及用于設(shè)計(jì)的人機(jī)交互系統(tǒng)的基本構(gòu)架波俄。這個(gè)構(gòu)架包括單模和多通道配置和人機(jī)交互最終的應(yīng)用豌鸡。本文還提供了關(guān)于人機(jī)交互中每個(gè)概念炭剪、方法和應(yīng)用的全面參考每币。

【嵌牛鼻子】：人機(jī)交互；多通道人機(jī)交互嗡害；普適計(jì)算

【嵌牛提問(wèn)】：人機(jī)交互方式將走向何方焚碌？

【嵌牛正文】：

1. 引 言

一直以來(lái)，互動(dòng)都是困擾著優(yōu)化利用電腦的一個(gè)問(wèn)題霸妹。人類與計(jì)算機(jī)交互所使用的方法也由來(lái)已久呐能。但探索仍在繼續(xù)，新的設(shè)計(jì)的技術(shù)系統(tǒng)日益更新升級(jí)抑堡，過(guò)去的幾十年中這一領(lǐng)域的研究一直快速增長(zhǎng)著。在人機(jī)交互(HCI)領(lǐng)域中的成長(zhǎng)不僅僅體現(xiàn)在互動(dòng)質(zhì)量的提高朗徊，在它的成長(zhǎng)史中也開辟了不同的分支首妖。不同的研究分支有異于設(shè)計(jì)常規(guī)互動(dòng)，而是更多的關(guān)注多峰性而不是單峰性爷恳、關(guān)注智能自適應(yīng)互動(dòng)而不是基于命令/行動(dòng)的互動(dòng)，最終呈現(xiàn)的是主動(dòng)而不是被動(dòng)的互動(dòng)。本文旨在提供一個(gè)人機(jī)交互系統(tǒng)發(fā)展現(xiàn)狀的概述侍郭，涵蓋上文提及的重要研究分支的研究現(xiàn)狀匕得。第二節(jié)將介紹人機(jī)交互的基本的定義和術(shù)語(yǔ)，概述現(xiàn)有的技術(shù)和該領(lǐng)域的最新進(jìn)展栈虚，隨后將描述人機(jī)交互設(shè)計(jì)中不同架構(gòu)袖外。最后一部分將介紹一些人機(jī)交互的應(yīng)用及其未來(lái)發(fā)展方向。

2.人機(jī)交互：定義魂务，術(shù)語(yǔ)

人機(jī)交互有時(shí)稱為人與機(jī)器的互動(dòng)曼验。人機(jī)交互的概念自然代表著計(jì)算機(jī)泌射、或更普遍來(lái)說(shuō)的機(jī)器自身的興起。事實(shí)上,原因很清楚:最復(fù)雜的機(jī)器是毫無(wú)價(jià)值的,除非他們可以被人類使用得當(dāng)鬓照。這個(gè)基本的爭(zhēng)論代表著在設(shè)計(jì)人機(jī)交互時(shí)應(yīng)考慮的主要的術(shù)語(yǔ):功能性和可用性[1]熔酷。

為什么一個(gè)真正被設(shè)計(jì)出來(lái)的系統(tǒng)可以由這個(gè)系統(tǒng)的功能來(lái)最終定義？例如豺裆，系統(tǒng)的功能性可以怎樣幫助達(dá)成系統(tǒng)的目的拒秘？一個(gè)系統(tǒng)的功能可以由它提供給用戶一系列操作與服務(wù)來(lái)界定。當(dāng)然,功能性的價(jià)值只有在它被用戶有效利用時(shí)才是可見(jiàn)的[2]臭猜√删疲可用性是一個(gè)帶有某些功能的系統(tǒng)可以可以被其用戶有效利用和充分實(shí)現(xiàn)特定目標(biāo)的范圍和程度。功能性和可用性適當(dāng)?shù)钠胶馐且粋€(gè)系統(tǒng)獲得真正有效性的必要條件[3]获讳。

當(dāng)頭腦中有這些概念時(shí)再考慮到計(jì)算機(jī)阴颖、機(jī)器和系統(tǒng)這些在文章中通常可以互換使用的術(shù)語(yǔ)時(shí),人機(jī)交互是應(yīng)該是一個(gè)使用戶丐膝、機(jī)器和所需的服務(wù)之間產(chǎn)生配合的設(shè)計(jì)量愧，以在服務(wù)的質(zhì)量和最優(yōu)性能上達(dá)到一個(gè)特定的效果[4]。確定什么因素使一個(gè)一定的人機(jī)交互設(shè)計(jì)得好基本上是主觀的帅矗、由實(shí)際情況決定的偎肃。例如,一架飛機(jī)零件設(shè)計(jì)工具應(yīng)該在視圖和設(shè)計(jì)上提供高的精度，而圖形編輯軟件可能不需要這樣的精度浑此。目前擁有的技術(shù)還可以影響用于相同目的但類型不同的人機(jī)交互設(shè)計(jì)累颂。一個(gè)很好的例子是使用命令,菜單,圖形用戶界面(GUI),或虛擬現(xiàn)實(shí)來(lái)訪問(wèn)任何指定計(jì)算機(jī)的某種功能。在下一節(jié)中將更加詳細(xì)地概述用于與計(jì)算機(jī)進(jìn)行交互現(xiàn)有的方法與設(shè)備凛俱，以及該領(lǐng)域的最新進(jìn)展紊馏。

3.人機(jī)交互概述

人機(jī)交互在過(guò)去十年中取得了巨大進(jìn)步，幾乎使人們無(wú)法識(shí)別哪些概念是虛幻的蒲犬，哪些概念不是虛幻的朱监，甚至是可以成為現(xiàn)實(shí)的。研究中的推力和營(yíng)銷手段的不斷變化促使新技術(shù)可以及時(shí)提供給人們使原叮。然而,并不是所有的現(xiàn)有技術(shù)都可以被公眾接觸到或是負(fù)擔(dān)得起赫编。在該節(jié)的第一部分將概述一些或多或少是可以被公眾使用的技術(shù)。第二部分將呈現(xiàn)人機(jī)交互研究前景奋隶。

3.1現(xiàn)有的人機(jī)交互技術(shù)

人機(jī)交互設(shè)計(jì)應(yīng)該考慮人類行為和需要的許多方面擂送，來(lái)確保其有用性。與簡(jiǎn)單的交互方法本身相比唯欣，人類參與機(jī)器交互程度的復(fù)雜性有時(shí)是隱形的∴诙郑現(xiàn)有的互動(dòng)復(fù)雜程度的不同不僅是因?yàn)楣δ芑蚩捎眯猿潭炔煌才c機(jī)器在市場(chǎng)金融黍聂、經(jīng)濟(jì)方面的影響有關(guān)躺苦。例如,一個(gè)電水壺不需要復(fù)雜的互動(dòng)身腻，它的功能僅僅是燒水，除了一個(gè)開關(guān)外匹厘，多余的互動(dòng)功能都不劃算嘀趟。然而,一個(gè)簡(jiǎn)單的網(wǎng)站，在功能上可能有限愈诚，但為了吸引并留住顧客其可用性應(yīng)是足夠復(fù)雜的[1]她按。

因此,在人機(jī)交互的設(shè)計(jì)中，活動(dòng)程度應(yīng)該被充分考慮炕柔，哪怕只有一個(gè)用戶與一臺(tái)機(jī)器機(jī)器酌泰。用戶活躍度有三個(gè)不同的層次:物理層面[5],認(rèn)知層面[6]和情感層面[7]。物理層面決定了人類和計(jì)算機(jī)力學(xué)相互作用匕累；在認(rèn)知層面解決用戶了解系統(tǒng)并與之交互的問(wèn)題陵刹。情感層面是最近新提出的一個(gè)問(wèn)題，它不僅試圖使互動(dòng)成為愉悅的用戶體驗(yàn)欢嘿，也會(huì)通過(guò)改變用戶的態(tài)度和情感來(lái)讓用戶繼續(xù)使用這臺(tái)機(jī)器[1]衰琐。

本文的重點(diǎn)主要集中在物理層面交互的發(fā)展，并展示不同的交互方法是如何組合的(多模式交互)炼蹦，探討每個(gè)方法如何提高表現(xiàn)(智能交互)從而為用戶提供一個(gè)更好界面∠壑妫現(xiàn)有的人機(jī)交互物理技術(shù)基本上可以根據(jù)設(shè)備基于不同人類感覺(jué)設(shè)計(jì)，分類掐隐。這些設(shè)備是主要依靠三個(gè)人類感官:視覺(jué)狗热、聽(tīng)覺(jué)和觸覺(jué)。[1]虑省。

依靠視覺(jué)的輸入設(shè)備是最常用的類型匿刮，通常基于開關(guān)或者指向裝置[8][9]探颈。這個(gè)基于開關(guān)的設(shè)備可以是任何類型的接口僻焚，可以像使用鍵盤一樣使用的按鈕和開關(guān)[10]。指向設(shè)備有很多膝擂，如鼠標(biāo)、操縱桿隙弛、觸摸屏面板架馋、圖形平板電腦、軌跡球和觸控輸入筆等[11]全闷。操縱桿是指那些有開關(guān)和指示能力的叉寂。而輸出設(shè)備可以是任何類型的視覺(jué)顯示或打印設(shè)備[3]。

依靠聽(tīng)覺(jué)的設(shè)備更為先進(jìn)总珠，通常需要某種類型的語(yǔ)音識(shí)別[12]屏鳍。這些設(shè)備旨在促進(jìn)盡可能多的交互勘纯，因此也更難以建立[13]。然而钓瞭，聽(tīng)覺(jué)輸出設(shè)備更容易創(chuàng)建驳遵。如今,由機(jī)器產(chǎn)生的各種非語(yǔ)音[14]和語(yǔ)音信號(hào)和消息都被視為輸出信號(hào)。嗶嗶聲山涡、警報(bào)以及GPS設(shè)備逐向道路導(dǎo)航命令都是簡(jiǎn)單的示例堤结。

最困難和最昂貴的是構(gòu)建觸覺(jué)裝置[15]⊙即裕“這種類型的界面通過(guò)觸摸竞穷、重量和相對(duì)剛度[1]生成皮膚和肌肉的感覺(jué)×鄹龋“觸覺(jué)裝置[16]通常生產(chǎn)用于虛擬現(xiàn)實(shí)[17]或殘疾輔助[18]瘾带。

人機(jī)交互最新的方法和技術(shù)在正試圖整合原交互方法，并與其他先進(jìn)技術(shù)結(jié)合熟菲，如網(wǎng)絡(luò)和動(dòng)畫看政。這些新進(jìn)展可分為三個(gè)部分:可穿戴設(shè)備[19]，無(wú)線設(shè)備[20]和虛擬設(shè)備[21]科盛。技術(shù)的發(fā)展如此之快帽衙，以至這些新技術(shù)之間的界限逐漸消失，日益混合贞绵。這些設(shè)備的一些例子包括:GPS導(dǎo)航系統(tǒng)[22]厉萝，軍事報(bào)國(guó)加強(qiáng)設(shè)備(如熱視覺(jué)[23]、跟蹤其他士兵運(yùn)動(dòng)使用的GPS榨崩、環(huán)境掃描)谴垫，無(wú)線電頻率識(shí)別(RFID)產(chǎn)品、個(gè)人數(shù)字助理(PDA)母蛛、房地產(chǎn)虛擬旅游業(yè)務(wù)[24]翩剪。其中一些新設(shè)備升級(jí)整合了之前的交互方法。

3.2在HCI的研究進(jìn)展

在以下部分中,將介紹人機(jī)交互最近的研究方向和進(jìn)展彩郊，即智能與自適應(yīng)交互和無(wú)處不在的計(jì)算前弯。這些交互包括不同級(jí)別的用戶活動(dòng):身體、認(rèn)知和情感秫逝。

3.2.1智能和自適應(yīng)人機(jī)交互

廣大公眾所使用的設(shè)備雖然仍然是某種的純命令/動(dòng)作設(shè)置恕出，而不是復(fù)雜的物理設(shè)備，我們的研究將是針對(duì)智能與自適應(yīng)交互接口設(shè)計(jì)违帆。我們還不不知道有關(guān)智能理論的確切概念浙巫，然而我們可以通過(guò)在市場(chǎng)上的新設(shè)備的功能性和實(shí)用性來(lái)定義這些概念正如前面提到過(guò)的,它是重要的經(jīng)濟(jì)和技術(shù),提供了更方便的人機(jī)交互設(shè)計(jì),更愉快的和令人滿意的用戶體驗(yàn)。為了實(shí)現(xiàn)這個(gè)目標(biāo),接口也越來(lái)越自然,便于每天使用。進(jìn)化的接口在筆記工具是一個(gè)很好的例子的畴。第一次有打字機(jī),然后鍵盤和觸摸屏平板電腦現(xiàn)在,你可以用自己的筆跡進(jìn)行書寫渊抄，機(jī)器進(jìn)行識(shí)別，甚至你可以進(jìn)行語(yǔ)音輸入丧裁，由機(jī)器進(jìn)行識(shí)別护桦，而不需再用手書寫。新一代接口的一個(gè)重要的因素是區(qū)分智能方式渣慕，界面和用戶交互嘶炭，智能人機(jī)交互設(shè)計(jì)界面,將至少?gòu)哪撤N智能感知響應(yīng)用戶。一個(gè)例子是使得說(shuō)話人使用自然的語(yǔ)言來(lái)與用戶和設(shè)備進(jìn)行交流逊桦。明確的對(duì)用戶進(jìn)行視覺(jué)跟蹤并進(jìn)行相應(yīng)的回應(yīng)眨猎。另一方面,自適應(yīng)人機(jī)交互的設(shè)計(jì),可能不會(huì)使用智能接口的創(chuàng)建,但使用它的方式繼續(xù)與用戶的互動(dòng)[33]。一個(gè)自適應(yīng)人機(jī)交互可能是一個(gè)網(wǎng)站使用GUI銷售各種產(chǎn)品强经。這個(gè)網(wǎng)站將是自適應(yīng)——某種程度上——如果它有能力識(shí)別用戶,并保持一個(gè)他的搜索睡陪，購(gòu)買記錄查，并建議它認(rèn)為用戶可能需要銷售的產(chǎn)品匿情。大多數(shù)的這些類型的適應(yīng)活動(dòng)是那些處理認(rèn)知與情感水平的用戶活動(dòng)[1]兰迫。另一個(gè)例子，它使用的智能與自適應(yīng)接口是具有手寫識(shí)別能力的炬称，它可以適應(yīng)手寫PDA或平板電腦登錄的用戶汁果，它擁有的字跡識(shí)別和修正能力來(lái)記住用戶的文本。最后玲躯，另一個(gè)要考慮的有關(guān)智能接口的因素是大多數(shù)非智能人機(jī)交互設(shè)計(jì)在本質(zhì)上是被動(dòng)的据德，即它們只在用戶調(diào)用時(shí)候響應(yīng)，而最終的智能和適應(yīng)性的接口往往是積極的接口跷车。這個(gè)例子是根據(jù)用戶的口味提出自己的智能廣告牌或廣告棘利。在接下來(lái)的部分，將組合不同的人機(jī)交互方法和并將如何能有助于智能自適應(yīng)自然界面的方法進(jìn)行討論朽缴。

3.2.2無(wú)處不在的計(jì)算和環(huán)境智能

在人機(jī)交互領(lǐng)域的最新研究成果善玫，是無(wú)處不在的普適計(jì)算（普適計(jì)算）。這個(gè)術(shù)語(yǔ)經(jīng)趁芮浚互換使用環(huán)境智能和普適計(jì)算茅郎，是指人機(jī)交互的最終方法是刪除在環(huán)境中的計(jì)算機(jī)的桌面和嵌入，使之成為無(wú)形的或渤，而他們周圍無(wú)處不在只洒。普適計(jì)算的想法最初是由馬克·韋澤在1998年他在施樂(lè)PARC計(jì)算機(jī)科學(xué)實(shí)驗(yàn)室擔(dān)任首席技術(shù)專家時(shí)候提出的。他的想法是劳坑，將世界各地的計(jì)算機(jī)和日常物品進(jìn)行連接，人們可以同時(shí)將環(huán)境和物品進(jìn)行無(wú)線溝通成畦。普適計(jì)算也被命名為計(jì)算的第三次浪潮距芬。第一波是大型機(jī)時(shí)代涝开，很多人一臺(tái)電腦。然后是第二次浪潮框仔，一人一臺(tái)電腦被稱為個(gè)人電腦時(shí)代∫ㄎ洌現(xiàn)在的普適計(jì)算引入了多臺(tái)計(jì)算機(jī)，成為一個(gè)人的時(shí)代离斩。

4人機(jī)交互系統(tǒng)架構(gòu)

人機(jī)交互設(shè)計(jì)的最重要的因素是它的配置银舱。事實(shí)上，任何給定的接口通常是由它提供的輸入和輸出的數(shù)量和多樣性定義的跛梗。人機(jī)交互系統(tǒng)的體系結(jié)構(gòu)顯示這些輸入和輸出是什么寻馏，以及他們?nèi)绾我黄鸸ぷ鳌Ｒ韵赂鞴?jié)介紹基于不同的配置和設(shè)計(jì)的接口核偿。

4.1單峰人機(jī)交互系統(tǒng)

正如前面提到的,一個(gè)接口主要依靠它輸入和輸出設(shè)備的數(shù)量和多樣性诚欠，這種渠道讓用戶可以通過(guò)此接口與計(jì)算機(jī)進(jìn)行交互。每一個(gè)不同的獨(dú)立的單通道稱為方式 [36]漾岳。一個(gè)系統(tǒng),是基于只有一個(gè)形態(tài)叫做單峰轰绵。基于不同形式的性質(zhì),可以分為三個(gè)類別:

4.1.1基于視覺(jué)

4.1.2基于音頻

4.1.3基于傳感器

接下來(lái)的小節(jié)描述每個(gè)類別尼荆，每個(gè)方式左腔，并提供實(shí)例和參考。

4.1.1基于視覺(jué)的人機(jī)交互

基于視覺(jué)的人機(jī)交互研究可能是該領(lǐng)域中最普遍的捅儒∫貉考慮應(yīng)用程序的范圍和各種開放問(wèn)題和方法,研究人員試圖解決可視為視覺(jué)信號(hào)的人的不同方面的反應(yīng)。本節(jié)中的一些主要研究領(lǐng)域如下：

面部表情分析

身體運(yùn)動(dòng)跟蹤（大型）

手勢(shì)識(shí)別

凝視檢測(cè)（眼動(dòng)跟蹤）

由于應(yīng)用的不同每個(gè)地區(qū)目標(biāo)也不同野芒，但是每個(gè)區(qū)域的普遍觀念是大體一致的蓄愁。面部表情分析一般是處理視覺(jué)情緒認(rèn)知。這個(gè)領(lǐng)域的研究焦點(diǎn)是人體運(yùn)動(dòng)跟蹤和手勢(shì)識(shí)別狞悲，這個(gè)領(lǐng)域可以有不同的研究目的但他們大多是用于直接命令中人與計(jì)算機(jī)的互動(dòng)撮抓。目光檢測(cè)則主要是以間接形式的使用戶與機(jī)器間進(jìn)行互動(dòng)，更好地理解用戶的注意力,意圖或敏感的情況[44]摇锋。一個(gè)例外是幫助殘疾的眼跟蹤系統(tǒng)丹拯，它主要作用在命令和動(dòng)作場(chǎng)景，如指針運(yùn)動(dòng),閃爍,點(diǎn)擊荸恕。值得注意的是乖酬，一些研究人員試圖協(xié)助甚至取代其他類型的相互作用（音頻，傳感器為主）與視覺(jué)方法融求。例如咬像，唇讀或唇運(yùn)動(dòng)跟蹤是已知的用于語(yǔ)音識(shí)別的糾錯(cuò)的一個(gè)有效的幫助。

4.1.2基于音頻的人機(jī)交互

基于音頻的計(jì)算機(jī)和人之間的交互是人機(jī)交互系統(tǒng)的另一個(gè)重要領(lǐng)域。這個(gè)領(lǐng)域處理不同的音頻信號(hào)獲得的信息县昂。雖然音頻信號(hào)的性質(zhì)可能不可以作為視覺(jué)信號(hào)肮柜，但從音頻信號(hào)收集到的信息可以更值得信賴，更有用倒彰，在某些情況下审洞，成為獨(dú)特的信息提供者。本節(jié)中研究區(qū)域可分為以下幾部分組成：

語(yǔ)音識(shí)別

說(shuō)話人識(shí)別

聽(tīng)覺(jué)情感分析

人為噪聲/登錄檢測(cè)（喘氣待讳，感嘆芒澜，笑，哭创淡，等）

音樂(lè)互動(dòng)

從歷史上看痴晦，語(yǔ)音識(shí)別和說(shuō)話人識(shí)別的研究一直是主要的焦點(diǎn)。最近的努力是在人機(jī)交互分析領(lǐng)域整合人類情感辩昆。相比其他的音調(diào)和音高的語(yǔ)音數(shù)據(jù)阅酪，典型的人類聽(tīng)覺(jué)的跡象，如嘆息汁针，驚呼等幫助的情感分析术辐，設(shè)計(jì)更智能化的人機(jī)交互系統(tǒng)。音樂(lè)的生成和互動(dòng)是一個(gè)人機(jī)互動(dòng)藝術(shù)領(lǐng)域非常新的應(yīng)用施无，它主要集中在音頻和視覺(jué)研究中辉词。

4.1.3基于傳感器的人機(jī)交互

本部分結(jié)合了各個(gè)領(lǐng)域的廣泛應(yīng)用。這些不同領(lǐng)域的共性是,在人機(jī)交互中至少有一個(gè)物理傳感器猾骡。這些傳感器如下所示可以非常原始的或非常復(fù)雜瑞躺。

1筆式交互

2鼠標(biāo)和鍵盤

3操縱桿

4運(yùn)動(dòng)跟蹤傳感器和數(shù)字轉(zhuǎn)換器

5觸覺(jué)傳感器

6壓力傳感器

7味道/氣味傳感器。

這些傳感器已經(jīng)存在了一段時(shí)間,其中的一些非常新的技術(shù)兴想。筆式傳感器主要在移動(dòng)設(shè)備領(lǐng)域幢哨，并且涉及到筆勢(shì)和手寫識(shí)別領(lǐng)域。鍵盤嫂便、鼠標(biāo)和操縱桿已在3.1節(jié)討論捞镰。更多信息參考:[8][9][10][11]。運(yùn)動(dòng)跟蹤傳感器/數(shù)字轉(zhuǎn)換器是的最先進(jìn)的技術(shù)毙替，它徹底改變了電影岸售、動(dòng)畫、藝術(shù)和游戲產(chǎn)業(yè)厂画。他們以可穿戴布或者關(guān)節(jié)傳感器的形式出現(xiàn)凸丸，使得電腦更能與現(xiàn)實(shí)的世界進(jìn)行交互，人們可以創(chuàng)建他們的世界袱院。圖3描述了這樣的一個(gè)裝置屎慢，觸覺(jué)和壓力傳感器應(yīng)用在機(jī)器人和虛擬現(xiàn)實(shí)領(lǐng)域瞭稼。新的機(jī)器人包括數(shù)以百計(jì)的觸覺(jué)傳感器,使機(jī)器人敏感和有觸摸能力，這些類型的傳感器還用于醫(yī)療手術(shù)應(yīng)用

傳感器的觸控筆專門興趣移動(dòng)設(shè)備和相關(guān)筆手勢(shì)[30]和手寫識(shí)別領(lǐng)域腻惠。運(yùn)動(dòng)跟蹤傳感器/ digitizers是最先進(jìn)的技術(shù),徹底改變了電影弛姜、動(dòng)畫、藝術(shù)和游戲產(chǎn)業(yè)妖枚。他們會(huì)在形式的可穿戴布或關(guān)節(jié)傳感器,使電腦更能與現(xiàn)實(shí)和人類能夠創(chuàng)建他們的世界幾乎。

4.2多通道人機(jī)交互系統(tǒng)

這個(gè)術(shù)語(yǔ)是指的多通道組合多個(gè)形式苍在。在MMHCI系統(tǒng),這些形式主要是參考方法,系統(tǒng)響應(yīng)輸入,即溝通渠道[36]绝页。這些渠道的定義是繼承自人類類型的通信,基本上是他的感官:視覺(jué)、聽(tīng)覺(jué)寂恬、觸覺(jué)续誉、嗅覺(jué)和味覺(jué)。用機(jī)器進(jìn)行交互包括這些可能的類型但是不限于這些類型初肉。因此酷鸦，通過(guò)兩個(gè)或者兩個(gè)以上是輸入模式而不是傳統(tǒng)的鍵盤和鼠標(biāo)設(shè)備，一個(gè)多通道界面可以成為人機(jī)交互的促進(jìn)者牙咏。這些輸入設(shè)備的類型和工作模式可能相差很大臼隔，多通道界面將整合不同組合的語(yǔ)音、手勢(shì)妄壶、目光摔握、面部表情和其他非傳統(tǒng)模式的輸入。最普遍的一種支持的輸入組合方法是手勢(shì)和語(yǔ)音[56]丁寄。雖然一個(gè)理想的多模態(tài)人機(jī)交互系統(tǒng)應(yīng)該包含單個(gè)交互的方式氨淌，相關(guān)性的組合，每一種模式的實(shí)際邊界和開放問(wèn)題在每個(gè)形態(tài)反對(duì)限制上的融合伊磺，盡管在MMHCI上有很多進(jìn)展盛正，大多數(shù)現(xiàn)有的多通道系統(tǒng)應(yīng)該區(qū)分對(duì)待，只在最后將不同的方式結(jié)合在一起屑埋。原因在于,在每個(gè)地區(qū)的開放問(wèn)題尚未完善意味著仍然有工作需要完成以獲得可靠的工具豪筝，此外，角色的不同的方式和他們的相互作用的份額并不科學(xué)雀彼∪姥粒“人兒，人們?cè)谟枚嗤ǖ澜裣π盘?hào)傳達(dá)和交往時(shí)候徊哑，需要分析多個(gè)不同傳感器獲得的輸入信號(hào)袜刷，信號(hào)不是獨(dú)立的，不能在最后的時(shí)候進(jìn)行結(jié)合莺丑，相反這些輸入數(shù)據(jù)應(yīng)該被處理在一個(gè)聯(lián)合的空間內(nèi)著蟹，在實(shí)踐中墩蔓，除了上下文的問(wèn)題檢測(cè)和發(fā)展相結(jié)合的多感官信息的上下文相關(guān)模型，人們應(yīng)該配合所需的聯(lián)合特征空間的大小萧豆。問(wèn)題包括大維度奸披，不同的功能，格式和時(shí)間校正涮雷。

一個(gè)有趣的方面是不同方式的合作阵面。例如,嘴唇運(yùn)動(dòng)跟蹤(視覺(jué)基礎(chǔ))可以幫助語(yǔ)音識(shí)別方法(音頻基礎(chǔ))，語(yǔ)音識(shí)別方法(音頻基礎(chǔ))可以幫助命令采集在手勢(shì)識(shí)別(視覺(jué)的基礎(chǔ))洪鸭。接下來(lái)的一節(jié)將顯示一些應(yīng)用智能多式聯(lián)運(yùn)系統(tǒng)样刷。

5?應(yīng)用

一種典型的多通道系統(tǒng)是“把他放在那里”示范系統(tǒng)[。這個(gè)系統(tǒng)允許一個(gè)物體移動(dòng)到一個(gè)新的位置并在屏幕上的地圖說(shuō):“把東西放在那里”而指向?qū)ο蟊旧砣缓笾赶蚶硐氲哪康牡乩谰簟６嗤ǖ澜缑嬉呀?jīng)被用在許多應(yīng)用程序包括使用地圖的模擬,如上述系統(tǒng);信息亭,如AT&T的MATCHKiosk[58]和[56]生物認(rèn)證系統(tǒng)置鼻。

多通道界面相比傳統(tǒng)的交互擁有很多優(yōu)勢(shì)。首先,他們可以提供一個(gè)更自然的和用戶友好的體驗(yàn)蜓竹。例如,在一個(gè)房地產(chǎn)系統(tǒng)稱為真正的獵手[24],你可以用一根手指點(diǎn)到一個(gè)房子箕母，來(lái)查詢房子的信息。使用一個(gè)指向手勢(shì)選擇一個(gè)對(duì)象,并使用語(yǔ)音使查詢關(guān)于它演示了類型的自然體驗(yàn)多通道界面提供給他們的用戶俱济。另一個(gè)關(guān)鍵的優(yōu)勢(shì)是他們有適應(yīng)不同人不同情況的能力嘶是。例如，MATCHKiosk的允許使用語(yǔ)音或手寫在地圖上搜索指定類型的企業(yè)姨蝴。因此俊啼，在嘈雜的環(huán)境中，可提供通過(guò)手寫輸入左医，而不是語(yǔ)音授帕。一些其他的多通道系統(tǒng)應(yīng)用如下：

智能家居/辦公室

駕駛員狀態(tài)監(jiān)視

智能游戲

電子商務(wù)

協(xié)助殘疾人士

在下面的章節(jié)中，一些重要的多通道系統(tǒng)的應(yīng)用將會(huì)更詳細(xì)的進(jìn)行論述浮梢。

5.1?適合殘疾人使用的多通道系統(tǒng)

好的多通道應(yīng)用程序可以解決和幫助殘疾人（如雙手殘疾的人）跛十，這比起普通的程序更需要其他類型的接口。在這樣的系統(tǒng)中秕硝，殘疾用戶可以聲音和頭部運(yùn)動(dòng)來(lái)操作機(jī)器芥映，。圖4是這種系統(tǒng)的一個(gè)實(shí)際的例子远豺。使用兩種方式:言語(yǔ)和頭部動(dòng)作奈偏。這兩個(gè)形式都十分活躍。頭部位置表示在當(dāng)前時(shí)刻的光標(biāo)在屏幕上的坐標(biāo)躯护。在另一方面惊来，對(duì)話提供所需的由光標(biāo)選擇的對(duì)象必須執(zhí)行的動(dòng)作的含義的信息。

兩種模式之間的同步是通過(guò)在語(yǔ)音檢測(cè)的開始計(jì)算的光標(biāo)位置棺滞。這主要是由于這樣的事實(shí)裁蚁，在完整的句子的發(fā)音的過(guò)程中矢渊，光標(biāo)所在位置的可移動(dòng)磁頭移動(dòng)，則光標(biāo)可以指向其他的圖形對(duì)象枉证，而且必須要完成的命令矮男，該命令出現(xiàn)在在很短的時(shí)間，然后再開始的短語(yǔ)輸入一個(gè)人的大腦室谚。圖5顯示了本系統(tǒng)的原理圖毡鉴。

Human’s????????????????????????????? Markers on

speech????????????????????????????? human’s head

圖5：圖雙峰系統(tǒng)[65]

盡管一些減小操作速度,多通道系統(tǒng)允許不使用標(biāo)準(zhǔn)的鼠標(biāo)和鍵盤進(jìn)行操作。因此,這種系統(tǒng)可以成功地用于控制免提PC和手部有殘疾的人士秒赤。

5.2情感識(shí)別多通道系統(tǒng)

我們的世界里眨补，電腦越來(lái)越普及，它成為更加重要的機(jī)器倒脓。它們?nèi)ジ兄徒忉屗芯€索,內(nèi)隱記憶和外顯,使我們可以向他們提供我們的意圖，一個(gè)自然的人機(jī)交互方式含思，不能僅僅基于明確表示命令崎弃。電腦將不得不在此基礎(chǔ)上，推斷出一個(gè)人的情緒狀態(tài)檢測(cè)各種行為信號(hào)含潘。這是一個(gè)顯著的一塊拼圖饲做，一個(gè)放在一起準(zhǔn)確地預(yù)測(cè)一個(gè)人的意圖和未來(lái)的行為。人們能夠根據(jù)他們觀察一個(gè)人的臉遏弱，身體和聲音的情緒狀態(tài)做出預(yù)測(cè)盆均。研究表明，如果一個(gè)人獲得這些方式只有一個(gè)漱逸，面對(duì)的方式會(huì)產(chǎn)生最好的預(yù)測(cè)泪姨。當(dāng)用臉部和身體進(jìn)行預(yù)測(cè)，預(yù)測(cè)的精度就可以提高百分之三十五饰抒。這表明肮砾，受影響的確認(rèn)，它具有的大部分集中在面部表情袋坑，可以大大受益于多通道融合技術(shù)仗处。一直試圖整合不止一個(gè)形態(tài)識(shí)別影響，其中的五官和身體姿勢(shì)的功能相結(jié)合產(chǎn)生的一個(gè)指標(biāo)枣宫。綜合臉部和身體的方式是另一個(gè)工作婆誓，作者表明，與人類相似也颤，機(jī)器分類的情緒時(shí)是更基于臉部和身體的數(shù)據(jù)洋幻，而不是任何方式的單獨(dú)數(shù)據(jù)。作者試圖影響識(shí)別面部和語(yǔ)音數(shù)據(jù)融合歇拆。再次鞋屈，與人類判斷范咨，機(jī)器分類的情緒如中性，悲傷厂庇，憤怒渠啊，或開心的是最準(zhǔn)確的面部和聲音結(jié)合數(shù)據(jù)。他們記錄了四種情緒：“悲傷权旷，憤怒替蛉，幸福和中性狀態(tài)”。詳細(xì)的面部運(yùn)動(dòng)數(shù)據(jù)和聲音數(shù)據(jù)相聯(lián)系拄氯，實(shí)驗(yàn)表明躲查，面部識(shí)別系統(tǒng)的性能，克服了一個(gè)僅基于聲信息译柏。結(jié)果還表明镣煮，適當(dāng)融合兩種模式將有可衡量的改進(jìn)。結(jié)果表明鄙麦，有聲信息的基礎(chǔ)上的情感識(shí)別系統(tǒng)只給70.9％的整體性能典唇，基于面部表情識(shí)別系統(tǒng)相比，85％的整體性能胯府。因此由于這樣的事實(shí)介衔，臉頰區(qū)域研究給情感分類給出重要的信息。另一方面骂因，面部識(shí)別和聲學(xué)信息的基礎(chǔ)上的系統(tǒng)的雙峰融合炎咖，這個(gè)分類系統(tǒng)的整體性能是89.1％。

5.3使用地圖的多通道應(yīng)用程序

不同的輸入方式是適合表達(dá)不同的信息寒波。例如,演講提供了一個(gè)簡(jiǎn)單和自然機(jī)制來(lái)表達(dá)查詢有關(guān)選擇的對(duì)象或要求對(duì)象發(fā)起一個(gè)給定的操作乘盼。然而,演講也可能有不適合的任務(wù),如選擇一個(gè)特定的區(qū)域在屏幕上或定義出一個(gè)特定的路徑。這些類型的任務(wù)更好的適應(yīng)用手或筆手勢(shì)俄烁。然而,使查詢關(guān)于一個(gè)給定的區(qū)域并選擇該地區(qū)都是典型的任務(wù),應(yīng)該有一個(gè)地圖界面,因此,自然的結(jié)論是,使用地圖的界面可以極大地改善用戶體驗(yàn),支持多個(gè)模式的輸入,特別是語(yǔ)音和手勢(shì)蹦肴。

樹籬[70]是一個(gè)更廣泛的認(rèn)識(shí)和使用地圖的應(yīng)用程序,使用語(yǔ)音和筆手勢(shì)輸入。樹籬是軍事訓(xùn)練的應(yīng)用程序,允許用戶使用兩者之一或兩者同時(shí)形式來(lái)表達(dá)一個(gè)完整的命令猴娩。阴幌。例如，用戶可以簡(jiǎn)單地繪制出一個(gè)預(yù)定義的符號(hào)排在一個(gè)給定的位置在地圖上創(chuàng)建一個(gè)新的排在該位置用鋼筆卷中∶或者,用戶可以使用語(yǔ)音來(lái)指定他們的目的在建立一個(gè)新的坐標(biāo),可以指定用聲音的坐標(biāo)位置。最后,用戶可以用聲音表達(dá)他們的意圖蟆豫。在一個(gè)新的位置用鋼筆進(jìn)行手勢(shì)指定议忽，一個(gè)更新的多通道地圖應(yīng)用程序是真正的獵手。這是一個(gè)房地產(chǎn)接口十减，用戶同時(shí)使用語(yǔ)音查詢觸摸輸入選擇對(duì)象或地區(qū)栈幸。例如愤估，用戶可以問(wèn)：“這個(gè)多少錢？”一邊指著地圖上的房子速址。導(dǎo)游是另一種基于地圖應(yīng)用程序玩焰，它受益與多通道交互技術(shù)已經(jīng)顯示出了巨大的潛力。這樣的一個(gè)例子是MATCHKiosk[58],交互式城市指南芍锚。在類似的方式來(lái)快速設(shè)置昔园，MATCHKiosk允許一個(gè)僅使用語(yǔ)音來(lái)表達(dá)一定的查詢，如“在華盛頓找出我的印度餐館” 使用筆輸入寫出“餐館”;使用雙向輸入說(shuō)“印度餐館在這個(gè)區(qū)”,在亞歷山大畫一個(gè)圈并炮。這些例子說(shuō)明MATCHKiosk公司手寫識(shí)別,可以經(jīng)常代替語(yǔ)音輸入默刚。雖然對(duì)于一個(gè)用戶演講可能是更自然的選擇,但是在嘈雜的環(huán)境中,有書法作為備份可以減少用戶受挫。

5.4多通道人機(jī)交互應(yīng)用

類似于一些使用地圖界面,人機(jī)接口通常必須提供一種機(jī)制來(lái)指向特定的位置和表達(dá)操作發(fā)起請(qǐng)求逃魄。正如前面所討論的,前者類型的交互是伴隨而至的手勢(shì),而后者是通過(guò)演講更好地適應(yīng)荤西。因此,人機(jī)界面建立海軍研究實(shí)驗(yàn)室(NRL)應(yīng)該是意料之中的[71]。海軍研究實(shí)驗(yàn)室的接口允許用戶指向一個(gè)位置而說(shuō)“走過(guò)去”伍俘。此外,它允許用戶使用PDA屏幕作為第三可能的交互皂冰，這可能是使出語(yǔ)音或手勢(shì)識(shí)別失敗時(shí)。另一種多通道人機(jī)界面是一個(gè)互動(dòng)系統(tǒng)實(shí)驗(yàn)室建造的(ISL)[72],它允許使用語(yǔ)音請(qǐng)求機(jī)器人做一些手勢(shì)可以用來(lái)指向?qū)ο蟮囊醚葜v养篓。這樣的一個(gè)例子是要求機(jī)器人,“開關(guān)燈”,而指向燈。此外,在ISL的接口,系統(tǒng)可能會(huì)要求當(dāng)用戶當(dāng)不確定輸入時(shí)候進(jìn)行澄清赂蕴。例如,如果沒(méi)有手勢(shì)是公認(rèn)的,是指向一個(gè)光,系統(tǒng)可能會(huì)要求用戶:“哪個(gè)光?

5.5?在醫(yī)學(xué)中的多通道人機(jī)交互

20世紀(jì)80年代早期柳弄，外科醫(yī)生開始靠傳統(tǒng)方法以達(dá)到自己的極限。人的手不能實(shí)行的許多任務(wù)概说，需要更大的放大倍率和小工具碧注。需要更高的精度，定位和操縱人體的敏感部位糖赔。數(shù)字機(jī)器人由于其快速的改進(jìn)萍丐，計(jì)算機(jī)科技和神經(jīng)成像技術(shù)已經(jīng)成為街機(jī)這些局限性的領(lǐng)先解決方案。機(jī)器人手術(shù)被引入到手術(shù)區(qū)[73]放典。

州立大學(xué),卡爾斯魯厄大學(xué)(德國(guó))和哈佛醫(yī)學(xué)院(美國(guó))一直致力于開發(fā)人機(jī)界面,自適應(yīng)機(jī)器人和多代理技術(shù)用于神經(jīng)外科手術(shù)[54]逝变。神經(jīng)外科手術(shù)機(jī)器人由以下主要組件：臂，反饋的視覺(jué)傳感器奋构，控制器壳影，定位系統(tǒng)和一個(gè)數(shù)據(jù)處理中心。傳感器為外科醫(yī)生提供反饋從手術(shù)部位的實(shí)時(shí)成像弥臼，其中后者更新與新的指令的機(jī)器人的控制器宴咧，通過(guò)使用計(jì)算機(jī)接口和一些操縱桿。

神經(jīng)外科手術(shù)機(jī)器人提供手術(shù)規(guī)模要小得多径缅，具有更高的準(zhǔn)確度和精密度掺栅。

6.結(jié)論

人機(jī)交互的重要組成部分,是系統(tǒng)設(shè)計(jì)烙肺。系統(tǒng)的質(zhì)量取決于它是如何表示和用戶使用。因此,大量的已經(jīng)注意到更好的人機(jī)交互設(shè)計(jì)氧卧。新的研究方向是取代普通的常規(guī)方法桃笙，是更為交互與智能,自適應(yīng),多通道、自然的方法假抄。環(huán)境智能或普適計(jì)算稱為第三波正試圖嵌入到環(huán)境的技術(shù),以使它同時(shí)成為更自然的和無(wú)形的技術(shù)怎栽。虛擬現(xiàn)實(shí)也是一個(gè)推進(jìn)人機(jī)交互領(lǐng)域的重要部分。本文試圖對(duì)這些問(wèn)題作一概述,并提供一個(gè)現(xiàn)有的調(diào)查研究宿饱，做一個(gè)全面的參考資料列表熏瞄。