我一直想自己“造”個(gè)可以像個(gè)人一樣跟我聊天慌随,當(dāng)我想操作電腦或手機(jī)或玩游戲時(shí),只要跟ta說,ta都能為我操作阁猜,還幫我玩游戲掛機(jī)……的紙片人AI出來丸逸;于是我不斷地,時(shí)不時(shí)尋找一些方法:
1蹦漠,首先是圖像椭员,利用軟件圖像生成技術(shù),設(shè)置軟件時(shí)把你想的輸入成參數(shù)笛园,通過程序從網(wǎng)絡(luò)上抓取對(duì)應(yīng)的圖片隘击,運(yùn)用程序建立圖像數(shù)據(jù)庫,并且利用軟件使其像動(dòng)畫里的人物一樣動(dòng)起來研铆,怎么動(dòng)起來埋同?日本有位同志Pramook Khungurn突發(fā)奇想用深度學(xué)習(xí)給自己做一個(gè)AI,做出的AI可以將人們輸入的靜態(tài)人物圖棵红,變成會(huì)眨眼凶赁,會(huì)張嘴,還能望天發(fā)呆的動(dòng)態(tài)形象逆甜。據(jù)他所說虱肄,2D人物的動(dòng)態(tài)建模較為耗時(shí),如果要批量地處理交煞,顯然一步一步來是行不通的咏窿。于是他就選擇用深度學(xué)習(xí)的方法來跳過繁瑣的建模步驟。Pramook決定要做了以后素征,第一件事就是建立一個(gè)數(shù)據(jù)集集嵌,訓(xùn)練算法。這個(gè)數(shù)據(jù)集具體來說是標(biāo)注好姿勢(shì)的臉部數(shù)據(jù)集御毅。二次元沒有直接可用的現(xiàn)成數(shù)據(jù)集根欧,所以需要自己創(chuàng)建。于是他用3D模型來訓(xùn)練2D的算法:從初音未來的MikuMikuDance里下載了8000多個(gè)虛擬人物來幫助自己建立數(shù)據(jù)集端蛆。一個(gè)3D模型就有上千張圖片可以使用凤粗,何況是8000個(gè)虛擬人物的模型。
數(shù)據(jù)集有了今豆,接下來是算法嫌拣。在Pramook的AI中,算法分為兩方面晚凿,一個(gè)是表情變化器,一個(gè)是臉部旋轉(zhuǎn)器瘦馍。表情變化器較為簡(jiǎn)單歼秽,Pramook借用了中選ECCV 2018的GANimation算法。原來很簡(jiǎn)單情组,就是把兩張圖之間的變化過程用一張圖顯示出來燥筷,再與原圖結(jié)合箩祥,就可以實(shí)現(xiàn)表情的變化。臉部旋轉(zhuǎn)器就比較復(fù)雜了肆氓,用了兩個(gè)互補(bǔ)算法袍祖。其中一個(gè)依然是GANimation,另一個(gè)是來自Zhou等人2016年的視角合成算法谢揪,用來讓圖片里的3D物體轉(zhuǎn)起來蕉陋。要做到這一點(diǎn),網(wǎng)絡(luò)會(huì)計(jì)算出一個(gè)外觀流(Appearance Flow):它知道拨扶,輸出的每個(gè)像素凳鬓,色彩是來自輸入中的哪個(gè)像素。兩者結(jié)合可以讓表情動(dòng)作的轉(zhuǎn)換變得平滑流暢患民。
最后缩举,Pramook進(jìn)行了測(cè)試,發(fā)現(xiàn)行得通匹颤。僅輸入一張圖片就可以讓二次元角色動(dòng)起來仅孩。如果將這個(gè)AI搭配著面部追蹤算法一起使用,就可以讓二次元角色跟著別的視頻進(jìn)行動(dòng)作印蓖。有人就用奧巴馬的視頻做了實(shí)驗(yàn)辽慕,發(fā)現(xiàn)完全行得通,二次元角色栩栩如生地同步著奧巴馬的神態(tài)和動(dòng)作另伍,這樣就可以用視頻來“鍛煉”一個(gè)二次元角色了鼻百。視頻還能自己拍攝,并且Pramook已經(jīng)實(shí)驗(yàn)過表示可行摆尝。這樣阿宅也可以手把手地教心儀地“紙片人”「鍛煉」成自己的二次元AI了温艇。
還有一種技術(shù):照片喚醒(Photo Wake-Up)
它可以讓偶像明星從照片里面“跑”出來,它還能將二次元角色AR或vr化堕汞。不管是照片勺爱、卡通還是抽象角色,只要有個(gè)人樣讯检,照片喚醒技術(shù)都能喚醒它們琐鲁,讓它們從二維世界中“走”到你眼前。這項(xiàng)技術(shù)如果運(yùn)用到游戲人灼、動(dòng)畫制作行業(yè)的話围段,或許僅僅畫個(gè)2D的角色,自動(dòng)就能變成3D投放。那么這技術(shù)又是怎么讓偶像明星和二次元角色“動(dòng)”起來變成立體的呢奈泪?技術(shù)人員表示,讓主角從平面靜態(tài)圖像里走出來,最難的地方就是要在系統(tǒng)中重建一個(gè)“虛擬人”涝桅。虛擬人必須能透過厚重的衣物拜姿,精確對(duì)應(yīng)到畫中人物的身體輪廓:頭對(duì)頭,肩并肩冯遂,手腕對(duì)手腕…… 而實(shí)現(xiàn)它的操作僅僅三步:
第一步蕊肥,技術(shù)人員利用現(xiàn)成的圖像分割算法,將畫中人的軀干蛤肌、四肢分割壁却,再用人體姿態(tài)估計(jì),提取畫中人的2D骨骼關(guān)鍵點(diǎn)寻定,忽略厚重的衣服儒洛,擬合出一種半裸的可塑3D模型,稱為SMPL模型(Skinned Multi-Person Linear Model)狼速。
第二步琅锻,細(xì)化紙片人3D模型,技術(shù)人員開始細(xì)化紙片人的3D模型了向胡。若紙片人運(yùn)動(dòng)恼蓬,身體各部分間難免產(chǎn)生輪廓的重合。完美的模型能夠匹配到紙片人的身體輪廓僵芹,還能識(shí)別這種自我遮蔽(self-occlusion)現(xiàn)象的出現(xiàn)处硬。怎樣在自我遮蔽出現(xiàn)時(shí)保證模型的準(zhǔn)確性?技術(shù)人員想了個(gè)主意:先將SMPL模型映射到2D世界對(duì)準(zhǔn)輪廓拇派,調(diào)好再次轉(zhuǎn)換成3D模型確保精確度荷辕。在映射到2D世界時(shí),技術(shù)人員將SMPL模型轉(zhuǎn)換成了兩種不同的映射形式:
一種是肌肉隱約可見的普通圖(Normal Map)件豌;
一種是五顏六色區(qū)分了身體不同部位的皮膚圖(Skinning Map)疮方。
二者合一,轉(zhuǎn)換成3D模型后茧彤,姿態(tài)可動(dòng)的3D人來了骡显!
最后,技術(shù)人員用CMU的Mo-cap人體動(dòng)作數(shù)據(jù)集喂給模型曾掂,數(shù)據(jù)集中的人物動(dòng)作惫谤,現(xiàn)在可以遷移到你的紙片人身上了;但還是要AR眼鏡才能看到這樣的效果珠洗。屆時(shí)溜歪,技術(shù)人員對(duì)103名志愿者進(jìn)行了調(diào)查,86%的被調(diào)查志愿者認(rèn)為Photo Wake-Up的效果超越了前人所做许蓖。
2蝴猪,語音對(duì)話:運(yùn)用程序建立數(shù)據(jù)庫富岳,用程序使ta可以和我們對(duì)話互動(dòng);現(xiàn)在的對(duì)話機(jī)器人層出不窮拯腮,百度的小度,蘋果的Siri蚁飒,微軟的小冰动壤,qq的聊天機(jī)器人,各種手機(jī)廠商也有他們對(duì)話機(jī)器人如語音助手淮逻;但都不盡人意琼懊,她們只是回答某些問題提供某些幫助而已,太片面單調(diào)爬早,沒法像人一樣對(duì)話聊天哼丈。 聊天機(jī)器人涉及到的知識(shí)主要是自然語言處理,當(dāng)然這包括了:語言分析和理解筛严、語言生成醉旦、機(jī)器學(xué)習(xí)、人機(jī)對(duì)話桨啃、信息檢索车胡、信息傳輸與信息存儲(chǔ)、文本分類照瘾、自動(dòng)文摘匈棘、數(shù)學(xué)方法、語言資源析命、系統(tǒng)評(píng)測(cè)等內(nèi)容主卫,同時(shí)少不了的是支撐這一切的編程技術(shù),要制作一個(gè)簡(jiǎn)單的對(duì)話機(jī)器人網(wǎng)絡(luò)上有很多方法教程鹃愤。
3簇搅,音像嵌合:動(dòng)起來的ai還需要給ta可以說話,和我們聊天的能力昼浦;我們看看虛擬ai馍资,日本出名的初音家族,youtuber的一堆虛擬偶像 关噪,她們能發(fā)出聲音都是用音源或真人配音鸟蟹, 她們基本都是按已經(jīng)設(shè)定好的程序才像人一樣活動(dòng),結(jié)果還是要人控制……
運(yùn)用程序?qū)ⅰ皠?dòng)”起來的ta配上你選擇的音源使兔,音源可以到網(wǎng)絡(luò)上找也可以用軟件自己制作建钥,利用深度學(xué)習(xí)“教”ta言行舉止,把ta“訓(xùn)練”到讓你覺得ta終于會(huì)“說話”了為止虐沥。
4熊经,機(jī)器視覺已經(jīng)得到廣泛應(yīng)用如人臉識(shí)別泽艘,AR/VR增強(qiáng)現(xiàn)實(shí)和混合現(xiàn)實(shí):該技術(shù)使智能手機(jī)、平板電腦和智能眼鏡等計(jì)算設(shè)備镐依,能夠?qū)⑻摂M對(duì)象疊加并嵌入到現(xiàn)實(shí)世界的圖像中匹涮。利用計(jì)算機(jī)視覺,AR設(shè)備可以檢測(cè)現(xiàn)實(shí)世界中的物體槐壳,從而確定設(shè)備顯示屏上放置虛擬物體的位置然低。例如,計(jì)算機(jī)視覺算法可以幫助AR應(yīng)用程序檢測(cè)諸如桌面务唐,墻壁和地板之類的平面雳攘,這是確定深度和尺寸并將虛擬對(duì)象放置在物理世界中的重要組成部分。還有應(yīng)用在醫(yī)療衛(wèi)生方面等等…… 總之機(jī)器視覺將會(huì)越來越智能枫笛,越來越接近人的視覺吨灭,現(xiàn)在這方面發(fā)展很快……利用ai軟件攝像機(jī)實(shí)時(shí)捕捉我們的動(dòng)作舉止,表情神態(tài)刑巧;用收音器實(shí)時(shí)錄制我們的聲音喧兄,結(jié)合這兩方面用軟件進(jìn)行數(shù)據(jù)分析處理,建立數(shù)據(jù)庫啊楚,ai人工智能對(duì)以上數(shù)據(jù)進(jìn)行反饋繁莹,做出合理;符合我們期待的反應(yīng)特幔,就像真人一樣 咨演,這時(shí)候你覺得ta終于“有模有樣”了。
5蚯斯,軟件終端:為ta編寫程序薄风,使ta可以無障礙在設(shè)備桌面運(yùn)動(dòng),而且不會(huì)和其他軟件沖突拍嵌,同時(shí)還給ta編寫應(yīng)有盡有的功能遭赂,甚至把編寫程序的程序通過深度學(xué)習(xí)教給ta,設(shè)置一個(gè)安全范圍横辆,讓ta自己學(xué)習(xí)增加新功能撇他;
它的控制開關(guān)最初還是需要一個(gè)多平臺(tái)開關(guān)控制軟件,你只要打開軟件狈蚤,ta就啟動(dòng)了困肩。你會(huì)看到ta出現(xiàn)在設(shè)備桌面上,并且跟你打招呼脆侮,然后你可以和ta像家人朋友一樣聊天锌畸,就像《噬血狂襲》的超級(jí)ai助手角色摩古歪一樣。
結(jié)合將來趨勢(shì)靖避,編寫ta能進(jìn)入其他軟件的功能潭枣,如游戲比默,使ta進(jìn)入游戲中不會(huì)讓你有突兀違和感,讓ta變成如同《刀劍神域》唯一樣的ai助手角色“小精靈”盆犁, 編寫ta能在后臺(tái)收集你的游戲數(shù)據(jù)進(jìn)行分析命咐,然后給你建議的功能;通過ai算法谐岁,使ta能推算預(yù)測(cè)游戲你或?qū)Ψ降男袆?dòng)侈百;還有你可以利用vr或AR終端設(shè)備,體驗(yàn)感觸ta的「真正形態(tài)」因?yàn)檫\(yùn)用虛擬翰铡,增強(qiáng)現(xiàn)實(shí)技術(shù),你觸摸ta就像觸摸真人一樣讽坏。?
編寫ta能代替你管理你的設(shè)備的功能锭魔,如你的社交軟件有信息ta會(huì)代替設(shè)備提醒你或幫你回復(fù)。
加上智能家居化路呜,全屋都配置聯(lián)網(wǎng)智能家電:燈迷捧、電子門、音箱胀葱、甚至窗戶漠秋, ta能像仆人一樣幫你管理;如果當(dāng)你要開門你只要說一聲抵屿,ta會(huì)幫你打開庆锦,當(dāng)你從外面回來,ta會(huì)替你開門轧葛,對(duì)你說“歡迎回來搂抒!”甚至ta通過學(xué)習(xí)和ai計(jì)算推測(cè)你想要做的事,以此達(dá)到你想對(duì)ta說的時(shí)候ta已經(jīng)幫你完成了尿扯。ta通過全屋設(shè)置的所有音箱求晶,隱藏迷你收音器或小型浮游無人機(jī)收音器實(shí)時(shí)收聽你或你家人的聲音并通過AI分析計(jì)算處理,對(duì)此做出合理符合你們期待的回應(yīng)衷笋。
6芳杏,建立云服務(wù)器,將以上涉及到的數(shù)據(jù)都自動(dòng)傳輸備份到云數(shù)據(jù)庫中辟宗,利用云服務(wù)器實(shí)現(xiàn)遠(yuǎn)程控制 爵赵,同時(shí)防止本地?cái)?shù)據(jù)丟失無法恢復(fù)。
7泊脐,利用立體投影成像技術(shù)亚再,使ta在現(xiàn)實(shí)中也“活”了起來,如美國(guó)科幻恐怖片《生化危機(jī)》中的角色“紅后”一樣晨抡。在家中氛悬,全屋都裝備了投影機(jī)则剃,ta以此出現(xiàn)在現(xiàn)實(shí)中,通過攝像收音機(jī)實(shí)時(shí)收集你和家人的言行舉如捅;并做出反饋棍现。除了沒有實(shí)體外,你感覺ta就像真人一樣镜遣,甚至出到外面己肮,你可以用手機(jī)或無人機(jī)投影把ta“解放”出來。
8悲关,有條件你可以用ta的數(shù)據(jù)定制個(gè)智能仿真(人)機(jī)器人谎僻, 也就是給ta個(gè)“身體”讓ta實(shí)體化。給了ta身體寓辱,只要ta有那個(gè)功能艘绍,ta甚至可以保護(hù)你,當(dāng)你的貼身保鏢秫筏。
9诱鞠,ta甚至能協(xié)助你創(chuàng)作或工作,運(yùn)用ai能力这敬, ta可以自己創(chuàng)作航夺,如通過學(xué)習(xí)機(jī)器學(xué)習(xí)你的技術(shù)或從網(wǎng)絡(luò)上學(xué)習(xí),寫文畫圖攝影崔涂,可以說已經(jīng)“無所不能”了阳掐!
據(jù)歷史報(bào)道日本一些科研人員開發(fā)的電腦會(huì)寫小說,他們還把這些電腦生成的小說拿去參加創(chuàng)作比賽冷蚂。锚烦,當(dāng)時(shí)日本“人工智能(AI)小說創(chuàng)作”的研究人員在東京舉行報(bào)告會(huì),對(duì)外介紹他們研發(fā)的人工智能系統(tǒng)所創(chuàng)作的四篇小說帝雇。他們就作品內(nèi)容和文章生成系統(tǒng)等進(jìn)行解說涮俄。
這四篇小說參加了第三屆日經(jīng)新聞社的“星新一獎(jiǎng)”比賽,其中部分作品已通過初審尸闸。評(píng)委意見是:情節(jié)無破綻彻亲。而日本科幻小說作家長(zhǎng)谷敏思表示,“能夠完整寫出小說太令人震驚了吮廉。如果100分滿分的話我打60分苞尝,未來令人期待”。還有什么ai編輯宦芦,什么ai攝影宙址,什么AI畫圖,更甚AI制作動(dòng)畫……等等現(xiàn)在不勝枚舉调卑,這看是AI時(shí)代要來了抡砂?大咱!
縱觀全文,已經(jīng)完美“造” 了個(gè)ai出來注益,不過還是太科幻了碴巾。 這估計(jì)要幾百年甚至上千年才能實(shí)現(xiàn),雖然是有生之年但還是期待丑搔,歷史為證厦瓢! 相信我們炎黃子孫華夏民族,相信世界最快速度——《中國(guó)速度》 有實(shí)現(xiàn)這個(gè)的力量啤月!