使用Olami SDK 語音控制一個支持HomeKit的智能家居的iOS程序

原文地址:http://blog.csdn.net/dfman1978/article/details/72317312


前言

HomeKit是蘋果發(fā)布的智能家居平臺宇植。通過HomeKit組件击困,用戶可以通過iphone、iPad和ipod Touch來控制智能燈泡凉当,風扇莺琳、空調(diào)等支持HomeKit的智能家居,尤其是可以通過Siri進行語音控制暮屡。

但是通過Siri進行語音控制有個很大的問題,就是Siri支持的語料無法進行自由的擴展温眉,沒辦法添加更多的說法缸匪。而Olami SDK則可以通過OSL(OLAMI 語法描述語言 OLAMI Syntax Language,簡稱:OSL)自由的進行擴展类溢,對智能對話的能力擴展變得非常容易通過凌蔬。Olami的服務器對輸入的語料進行語義的解析,獲得想要的控制結(jié)果豌骏。這樣就可以自己對語料和說法進行擴展龟梦,豐富了操作的功能。

準備工作

HomeKit關(guān)于智能設備的一些基本概念和模擬器的安裝

由于市面上支持HomeKit的設備不多也比較昂貴窃躲,蘋果貼心的提供了一個HomeKit模擬器來幫助程序員進行HomeKit設備的開發(fā)计贰。這個Demo是模擬一個智能空調(diào),功能是通過語音控制空調(diào)的開關(guān)和調(diào)節(jié)溫度蒂窒。

HomeKit模擬器默認不是安裝的躁倒,要去下載安裝

在Taget->Capabilities->HomeKit一項中可以下載荞怒,見下圖

安裝好以后,就可以打開使用了秧秉。見下圖

在Homekit中有幾個概念褐桌,在這里簡單的介紹一下APP里用到的,網(wǎng)上有比較詳細的介紹象迎,也可以參考我轉(zhuǎn)載的這篇博文:

http://blog.csdn.net/dfman1978/article/details/72179458

HomeKit允許用戶添加多個home荧嵌,但是使用的時候只能有一個home,稱為primaryHome砾淌。每個Home可以有多個room.智能設備稱為Accessory屬于home啦撮,但是每個Accessory可以配個一個room。如果沒有指定room汪厨,則默認分配給roomForEntireHome返回的默認room.每個Accessory可以有多個Service赃春,每個Service可以有多個特性(HMCharacteristic)。有的特性是只讀的劫乱,例如空調(diào)當前的溫度织中;有的特性是可讀可寫的,例如空調(diào)的開關(guān)衷戈。APP就是通過控制這些特性的值來控制智能設備的狭吼。

在程序中添加了一個Accessory,名稱起為空調(diào)脱惰。然后給它添加了兩個Service:一個是Switch 開關(guān)搏嗡,一個是Temperature 控制空調(diào)的溫度。通過APP拉一,可是實現(xiàn)空調(diào)的開關(guān)和溫度的調(diào)節(jié)。

Olami 智能設備的語法規(guī)則的編寫和配置

用戶的說的話旧乞, APP怎么知道說的是什么意思蔚润,怎么去理解呢?這就涉及到了OSL語法描述語言尺栖。想要使用Olami平臺提供的語音和語義理解API嫡纠,首先要根據(jù)OLAMI 語法描述語言(OLAMI Syntax Language,簡稱:OSL)的規(guī)則編寫一套語法延赌。OSL的簡介如下網(wǎng)址有詳細的介紹https://cn.olami.ai/wiki/?mp=osl&content=osl1.html

通過Olami平臺提供的NLI 自然語言語義互動系統(tǒng),可以學習到如何為自己應用的業(yè)務編寫一套語法規(guī)則除盏。

自然語言語義互動(Natural Language Interaction, 簡稱:NLI)管理系統(tǒng)是一套在線語義解析管理工具,NLI 系統(tǒng)采用 OLAMI 語法描述語言(OLAMI Syntax Language挫以,簡稱:OSL)取代復雜的編碼編程者蠕,讓即便沒有軟件研發(fā)背景的使用者也能輕松快速的維護包含語義擴展及答案的智能對話流。

在如下網(wǎng)址可以了解到更加詳細的內(nèi)容

https://cn.olami.ai/wiki/?mp=nli&content=nli1.html

方便的是Olami平臺已經(jīng)對很多領(lǐng)域方面的提供了一些寫好的語法規(guī)則掐松,這些在Olami中稱為模塊踱侣。其中關(guān)于智能設備已經(jīng)寫好粪小,下面就一步一步配置一下。

首先要去Olami的平臺注冊一下抡句,注冊后進入到這個界面

點擊“創(chuàng)建應用”轉(zhuǎn)到下面這個頁面

填寫 應用名稱探膊,應用描述,應用介紹以后待榔,就可以創(chuàng)建了逞壁。回到上一個頁面锐锣,就可以看到創(chuàng)建的應用了猾担。

點擊”進入NLI系統(tǒng)”就可以進入模塊頁面

在官網(wǎng)已經(jīng)內(nèi)置了很多領(lǐng)域的grammar.在模塊頁面大家點擊“導入”按鈕,查看已有領(lǐng)域的模塊

選擇一個要使用的刺下,例如我要導入”smarthome”這個模塊绑嘹,先選擇它,點擊“導入” 按鈕

然后進入 smarthome模塊橘茉,就可以看到例句了

但是這個時候還是不能使用工腋,需要先進行發(fā)布。點擊頁面上方的”發(fā)布”按鈕畅卓,進入發(fā)布頁面

點擊“發(fā)布”按鈕擅腰,發(fā)布成功

最后還要回到“我的應用”界面,點擊”配置NLI模塊”按鈕翁潘,讓自己創(chuàng)建的應用和模塊關(guān)聯(lián)起來

這樣smarthome的語法文件就配置好了趁冈,就可以使用了。

代碼的實現(xiàn)

1.獲取home和Accessory的對象

- (void)viewWillAppear:(BOOL)animated {? ? [superviewWillAppear:animated];self.accessories= [NSMutableArrayarray];if(self.homeManager&&self.homeManager.primaryHome) {for(HMAccessory *accessory inself.homeManager.primaryHome.accessories) {? ? ? ? ? ? [self.accessoriesinsertObject:accessory atIndex:0];? ? ? ? ? ? accessory.delegate=self;? ? ? ? ? ? [self.tableViewreloadData];? ? ? ? }? ? }if(_currentHome) {? ? ? ? _currentHomeLabel.text= [NSStringstringWithFormat:@"當前Home:%@", _currentHome.name];? ? }}


在ViewWillAppear的時候來獲取當前Home的對象和名字拜马,還有Accessory的對象渗勘,并保存起來,用一個tableView來顯示下圖是程序剛啟動的時候的界面俩莽,這個時候因為沒有添加Home旺坠,所以什么都沒有

點擊“添加Home”按鈕彈出一個對話框,可以填入一個Home的名稱扮超。對應的代碼

-(IBAction)addHomeBtnClicked:(id)sender


下一步就是添加Accessory取刃,在代碼里沒有做這一步。是通過iOS提供的“家庭”APP來添加智能空調(diào)的出刷。

點擊“家庭”App,彈出頁面

點擊“開始使用”璧疗,彈出

點擊“添加配件”,App會自動搜索剛才在模擬器添加的那個空調(diào),按照提示一步一步添加馁龟,最后顯示空調(diào)的兩個Service:Switch和Temperature

在回到APP崩侠,這個時候APP,就會顯示出搜索到的Accessory:空調(diào)

點擊“空調(diào)”,進入語音控制頁面

在這個頁面中屁柏,上面的TableView顯示了空調(diào)的一些屬性啦膜。

下面的TextView用來顯示ASR的一些結(jié)果

圓形按鈕用來錄音

2..去網(wǎng)址https://cn.olami.ai/wiki/?mp=sdk&content=sdk_and_sample.html下載Olami SDK.包括兩個文件有送,其中的一個是Olami的靜態(tài)函數(shù)庫,一個是其頭文件

第一步是初始化Olami的語音識別對象僧家,并設置代理

olamiRecognizer= [[OlamiRecognizer alloc] init];olamiRecognizer.delegate=self;

?3.調(diào)用setAuthorization函數(shù)進行授權(quán)

[olamiRecognizersetAuthorization:@"d13bbcbef2a4460dbf19ced850eb5d83"api:@"asr"appSecret:@"3b08b349c0924a79869153bea334dd86"cusid:OLACUSID];


這個函數(shù)的參數(shù)的說明在OlamiRecognizer中有說明雀摘,也可以去在線API說明去查看

https://cn.olami.ai/wiki/?mp=sdk&content=sdk/ios/reference.html

參數(shù)就是剛才創(chuàng)建應用的時候獲得的。

4.設置語系

[olamiRecognizer setLocalization:LANGUAGE_SIMPLIFIED_CHINESE];


在進行錄音之前必須要先進行設置八拱,否則會得不到結(jié)果阵赠。目前只支持簡體中文(LANGUAGE_SIMPLIFIED_CHINESE)

4.開始錄音

調(diào)用 start()接口開始進行錄音

[olamiRecognizerstart];


5.得到錄音的文字和語義,并對其進行處理

通過調(diào)用stop()函數(shù)或者自動停止肌稻,都會獲得錄音的文字和對其進行的語義分析的結(jié)果

實現(xiàn)OlamiRecognizerDelegate onResult函數(shù)可以獲得結(jié)果清蚀,其結(jié)果以一個json字符串的形式回調(diào)過來,對這個字符串進行解析爹谭,就可以獲得想要的數(shù)字枷邪。例如對著話筒說”打開空調(diào)”,得到的結(jié)果如下

{? ? "data":{? ? ? ? "asr":{? ? ? ? ? ? "result":"打開空調(diào)",? ? ? ? ? ? "speech_status":0,? ? ? ? ? ? "final":true,? ? ? ? ? ? "status":0},? ? ? ? "nli":[? ? ? ? ? ? {? ? ? ? ? ? ? ? "desc_obj":{? ? ? ? ? ? ? ? ? ? "status":0},? ? ? ? ? ? ? ? "semantic":[? ? ? ? ? ? ? ? ? ? {? ? ? ? ? ? ? ? ? ? ? ? "app":"smarthome",? ? ? ? ? ? ? ? ? ? ? ? "input":"打開空調(diào)",? ? ? ? ? ? ? ? ? ? ? ? "slots":[? ? ? ? ? ? ? ? ? ? ? ? ? ? {? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? "name":"device",? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? "value":"空調(diào)"}? ? ? ? ? ? ? ? ? ? ? ? ],? ? ? ? ? ? ? ? ? ? ? ? "modifier":["open"],? ? ? ? ? ? ? ? ? ? ? ? "customer":"58df685e84ae11f0bb7b4893"}? ? ? ? ? ? ? ? ],? ? ? ? ? ? ? ? "type":"smarthome"}? ? ? ? ]},? ? "status":"ok"}


這個是根據(jù)OSL語法描述語言定義的一套規(guī)則诺凡,返回的結(jié)果东揣。這個結(jié)果的說明在https://cn.olami.ai/wiki/?mp=api_nlu&content=api_nlu3.html這個網(wǎng)址上有說明。

6.獲得所有Accessory的對象

for(HMService *servicein_accessory.services) {? ? ? ? [_serviceDicsetObject:serviceforKey:service.name];? ? ? ? NSLog(@"service.name is %@",service.name);? ? }


保存在一個Dictionary中腹泌,服務的名稱是key嘶卧,對象的指針是Value

7.onResult 函數(shù)的說明

在整個程序中,最主要的一個函數(shù)就是onResult函數(shù)凉袱,這個函數(shù)就是對傳過來的結(jié)果進行處理芥吟。在這個函數(shù)中,調(diào)用了三個函數(shù)专甩,分別來處理josn格式中的三個比較重要的節(jié)點

-(void)processASR:(NSDictionary*)asrDic

?這個用來處理ASR節(jié)點钟鸵,獲得語音識別的結(jié)果,如果沒有結(jié)果配深,則彈出一個對話框進行提示

-(void)processSemantic:(NSDictionary*)semanticDic


這個用來處理Semantic節(jié)點携添,這個節(jié)點中包含了slot的值和modifier的值。OSL 語法描述語言中的 slot 可理解為語義中的變量篓叶,用于傳遞、提取信息羞秤,是代碼處理的數(shù)據(jù)的來源缸托。對于本程序來說,就是進行控制空調(diào)的各種動作瘾蛋,例如開俐镐,關(guān)。還有就是調(diào)節(jié)的溫度值哺哼。關(guān)于slot的值可以參考https://cn.olami.ai/wiki/?mp=osl&content=osl_slot.html佩抹,這里有詳細說明

-(void)processModify:(NSString*)str


這個用來處理語音和語義的結(jié)果叼风。這個函數(shù)主要是處理json字符串中的modifier節(jié)點。modifier 語法描述規(guī)則是 OSL 語法描述語言中棍苹,除了 slot 以外的另一種內(nèi)置的信息傳遞機制无宿,一般用來表示語義目的,也可以理解為對于語義的一種注釋方式枢里,以便讓應用程序的開發(fā)者得知 grammar 所代表的相應意圖孽鸡。詳細說明參考

https://cn.olami.ai/wiki/?mp=osl&content=osl_regex.html#11,通過modifier栏豺,我們才能知道程序的意圖是什么彬碱?例如是想打開、關(guān)閉空調(diào)奥洼。還是調(diào)節(jié)溫度

在代碼中我們處理了三個modifier:”open”巷疼、”close” 和”control_temperature”.然后根據(jù)slot的值進行進行進一步處理。

拿其中處理“關(guān)閉”空調(diào)的動作來做說明

if([str isEqualToString:@"close"]){//關(guān)閉空調(diào)HMService *tmpService = _serviceDic[@"Switch"];? ? ? ? HMCharacteristic *characteristic = tmpService.characteristics[1];if([characteristic.characteristicTypeisEqualToString:HMCharacteristicTypeTargetLockMechanismState] ||? ? ? ? ? ? [characteristic.characteristicTypeisEqualToString:HMCharacteristicTypePowerState] ||? ? ? ? ? ? [characteristic.characteristicTypeisEqualToString:HMCharacteristicTypeObstructionDetected]) {? ? ? ? ? ? [characteristic writeValue:@NO completionHandler:^(NSError*error){if(error ==nil) {dispatch_async(dispatch_get_main_queue(), ^ {? ? ? ? ? ? ? ? ? ? ? ? _asrTextView.text= @"空調(diào)已關(guān)閉";? ? ? ? ? ? ? ? ? ? });? ? ? ? ? ? ? ? }else{NSLog(@"error in writing characterstic: %@", error);? ? ? ? ? ? ? ? ? ? _asrTextView.text= @"空調(diào)關(guān)閉失敗灵奖,請重試!";? ? ? ? ? ? ? ? }? ? ? ? ? ? }];? ? ? ? }? ? }


如果modifier等于”close”,那么說明這是一個Switch服務的屬性嚼沿。通過“Switch”獲得Service的指針,然后獲得Switch的屬性桑寨。然后通過

-(void)writeValue:(nullable id)value completionHandler:(void (^)(NSError*__nullable error))completion;


函數(shù)來修改這個屬性的值伏尼。因為是關(guān)閉空調(diào),所以直接寫入@NO就可以了

因為這個函數(shù)是異步返回的尉尾,返回的時候不一定操作成功爆阶,所以要對返回結(jié)果進行一下處理。

代碼下載

代碼可以到GitHub上下載

https://github.com/lym-ay/SmartHome

Olami SDK 相關(guān)開發(fā)資源

另外這里還有兩篇anroid上使用Olami SDK開發(fā)程序的文章

這個是一個聽書的程序

http://blog.csdn.net/ls0609/article/details/71519203

這個是一個關(guān)于天氣的程序

http://blog.csdn.net/zhangxy0605/article/details/71601604

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末沙咏,一起剝皮案震驚了整個濱河市辨图,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌肢藐,老刑警劉巖故河,帶你破解...
    沈念sama閱讀 218,858評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異吆豹,居然都是意外死亡鱼的,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,372評論 3 395
  • 文/潘曉璐 我一進店門痘煤,熙熙樓的掌柜王于貴愁眉苦臉地迎上來凑阶,“玉大人,你說我怎么就攤上這事衷快≈娉鳎” “怎么了?”我有些...
    開封第一講書人閱讀 165,282評論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長师郑。 經(jīng)常有香客問我环葵,道長,這世上最難降的妖魔是什么宝冕? 我笑而不...
    開封第一講書人閱讀 58,842評論 1 295
  • 正文 為了忘掉前任张遭,我火速辦了婚禮,結(jié)果婚禮上猬仁,老公的妹妹穿的比我還像新娘帝璧。我一直安慰自己,他們只是感情好湿刽,可當我...
    茶點故事閱讀 67,857評論 6 392
  • 文/花漫 我一把揭開白布的烁。 她就那樣靜靜地躺著,像睡著了一般诈闺。 火紅的嫁衣襯著肌膚如雪渴庆。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,679評論 1 305
  • 那天雅镊,我揣著相機與錄音襟雷,去河邊找鬼。 笑死仁烹,一個胖子當著我的面吹牛耸弄,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播卓缰,決...
    沈念sama閱讀 40,406評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼计呈,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了征唬?” 一聲冷哼從身側(cè)響起捌显,我...
    開封第一講書人閱讀 39,311評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎总寒,沒想到半個月后扶歪,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,767評論 1 315
  • 正文 獨居荒郊野嶺守林人離奇死亡摄闸,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,945評論 3 336
  • 正文 我和宋清朗相戀三年善镰,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片年枕。...
    茶點故事閱讀 40,090評論 1 350
  • 序言:一個原本活蹦亂跳的男人離奇死亡媳禁,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出画切,到底是詐尸還是另有隱情,我是刑警寧澤囱怕,帶...
    沈念sama閱讀 35,785評論 5 346
  • 正文 年R本政府宣布霍弹,位于F島的核電站毫别,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏典格。R本人自食惡果不足惜岛宦,卻給世界環(huán)境...
    茶點故事閱讀 41,420評論 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望耍缴。 院中可真熱鬧砾肺,春花似錦、人聲如沸防嗡。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,988評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽蚁趁。三九已至裙盾,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間他嫡,已是汗流浹背番官。 一陣腳步聲響...
    開封第一講書人閱讀 33,101評論 1 271
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留钢属,地道東北人徘熔。 一個月前我還...
    沈念sama閱讀 48,298評論 3 372
  • 正文 我出身青樓,卻偏偏與公主長得像淆党,于是被迫代替她去往敵國和親酷师。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,033評論 2 355

推薦閱讀更多精彩內(nèi)容