讓游戲沉浸感炸裂的實(shí)時(shí)3D音效技術(shù)原理與實(shí)踐(上)

3D音效最常見的應(yīng)用場(chǎng)景是在游戲中。過去,游戲中的3D音效(如槍聲摩钙、腳步聲)普遍基于傳統(tǒng)游戲開發(fā)引擎(如Unreal、Unity)實(shí)現(xiàn)查辩,但當(dāng)玩家聯(lián)麥時(shí)胖笛,原本不管游戲中隊(duì)友在哪兒,它的聲音聽上去都差不多宜岛。試想一下长踊,在大家都手忙腳亂地“突突突”時(shí),隊(duì)友發(fā)來求助語音“我在你東南方向10米的茅房里中彈了快來扶我……”萍倡,你還得看一眼地圖再判斷判斷他們?cè)谀膬荷肀住R悄苤苯勇犅暠嫖唬嫫饋硎遣皇蔷头奖愣嗔耍拷又魃隙鷻C(jī)再感受一下:

沒有3D效果

具有3D效果

要實(shí)現(xiàn)聽聲辯位阱佛,首先得知道帖汞,我們?yōu)槭裁茨芨兄铰曇舻姆轿唬?/p>

我們能感知到聲音的方位,主要是由于同個(gè)聲源傳到左右雙耳時(shí)的音量凑术、延時(shí)等信息是不一樣的翩蘸。具體點(diǎn)說,我們通過雙耳信號(hào)間的時(shí)間差麦萤、聲級(jí)差鹿鳖、音色差來判斷水平橫向定位;耳廓起到類似梳狀濾波器的左右?guī)椭趶?fù)合聲中判斷出縱向定位壮莹;根據(jù)聲級(jí)大小翅帜、頻譜狀況和個(gè)人經(jīng)驗(yàn)等因素來判斷深度定位。


圖一 3D聽感坐標(biāo)


那么命满,如何模擬聲音傳播到雙耳間的差異涝滴,從而模擬出聲音的位置?

這里就需要頭部相關(guān)數(shù)據(jù)傳輸函數(shù)HRTF(Head-Related Transfer Function)來完成這項(xiàng)工作胶台。它可以看成是聲音信號(hào)從聲源處傳播到雙耳的綜合濾波過程歼疮,該過程包括空氣濾波、周圍環(huán)境的混響和人體(軀干诈唬、頭部韩脏、耳廓等)的散射、反射等濾波過程铸磅。

目前赡矢,業(yè)界有比較成熟的開源HRTF庫。工程師們是這樣做的:準(zhǔn)備一個(gè)內(nèi)置麥克風(fēng)的人體頭部模型阅仔,在某個(gè)空間位置播放原音源吹散,對(duì)比麥克風(fēng)收錄的聲音和原音源,就能得出一個(gè)HRTF八酒。由于人耳對(duì)于聲源空間方位的感知靈敏度有限空民,無需測(cè)量所有空間位置對(duì)應(yīng)的HRTF,所以現(xiàn)有HRTF庫通常是在空間球面上選取1000左右采樣點(diǎn)來進(jìn)行測(cè)量羞迷。

真正完成實(shí)時(shí)語音3D虛擬化功能界轩,不只是簡(jiǎn)單地調(diào)用HRTF函數(shù),還需要將游戲世界映射為真實(shí)環(huán)境闭树,并進(jìn)行高頻運(yùn)算耸棒。它的實(shí)現(xiàn)的過程大致如下:假設(shè)有N個(gè)玩家正在游戲中連麥,由于游戲的實(shí)時(shí)性要求很高报辱,為了保證游戲的流暢度,每個(gè)玩家終端在20ms的單位時(shí)間內(nèi),至少接受(N-1)個(gè)包含語音信息和相對(duì)地理位置的數(shù)據(jù)包碍现。根據(jù)語音信息幅疼、相對(duì)地理位置信息選用適合的HRTF算法,融合游戲地圖中聲源傳播路徑上是否有阻擋昼接、玩家在游戲中所處的環(huán)境音(比如流水聲爽篷、空曠房間回聲)等信息,最終在玩家設(shè)備終端渲染出逼真的實(shí)時(shí)3D音效慢睡。

整個(gè)過程計(jì)算工作非常密集逐工,有些中低端的設(shè)備無法承受。如何讓玩家終端設(shè)備消耗最少的資源漂辐,又保證游戲流暢度一直是業(yè)界探究的方向泪喊。此外,部分HRTF庫對(duì)于音源信號(hào)中的某些頻率衰減較為嚴(yán)重髓涯,尤其是對(duì)于包含豐富頻率成分的樂器聲影響更加明顯袒啼。這不僅影響音源定位準(zhǔn)確性,也會(huì)導(dǎo)致最終輸出的環(huán)境音中樂器聲較為沉悶纬纪。

為此蚓再,基于騰訊天籟音頻解決方案,騰訊云游戲多媒體引擎GME推出了實(shí)時(shí)語音3D虛擬化功能包各。通過對(duì)終端渲染算法的優(yōu)化摘仅,運(yùn)算效率提高近50%,單音源空間化實(shí)時(shí)渲染復(fù)雜度在0.5ms左右问畅,讓絕大多數(shù)中低端設(shè)備也可以輕松完成實(shí)時(shí)3D音效渲染娃属。另外,針對(duì)渲染過程中信號(hào)分量衰減問題按声,GME通過自研音頻信號(hào)均衡補(bǔ)償方法提升3D渲染效果膳犹,讓樂器等游戲中的環(huán)境音更為通透。不止于此签则,作為一站式語音解決方案须床,GME還提供了噪聲抑制、回聲消除渐裂、增益控制豺旬、信源編碼、語音均衡等功能柒凉,一次接入滿足多重需求族阅。

目前,GME已支持多平臺(tái)接入膝捞,如windows坦刀,android,iOS,macOS鲤遥,xbox沐寺,PS4,Switch盖奈,VR設(shè)備混坞。特別值得一提的是,騰訊云GME是國(guó)內(nèi)首家支持VR設(shè)備上實(shí)時(shí)語音3D虛擬化的云服務(wù)解決方案钢坦。

過去游戲行業(yè)重視搶流量和用戶究孕,品質(zhì)倒是次要的。但隨著游戲存量市場(chǎng)的到來爹凹,日漸成熟的玩家很難再被質(zhì)量粗劣的游戲吸引厨诸。在音效等細(xì)節(jié)中注入匠心,制作精良的游戲作品才能具備長(zhǎng)久的生命力逛万。做好這些泳猬,其它的只需要把投票權(quán)交給玩家。



掃碼關(guān)注騰訊云游戲多媒體引擎GME微信公眾號(hào)
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末宇植,一起剝皮案震驚了整個(gè)濱河市得封,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌指郁,老刑警劉巖忙上,帶你破解...
    沈念sama閱讀 212,383評(píng)論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異闲坎,居然都是意外死亡疫粥,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,522評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門腰懂,熙熙樓的掌柜王于貴愁眉苦臉地迎上來梗逮,“玉大人,你說我怎么就攤上這事绣溜】锻” “怎么了?”我有些...
    開封第一講書人閱讀 157,852評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵怖喻,是天一觀的道長(zhǎng)底哗。 經(jīng)常有香客問我,道長(zhǎng)锚沸,這世上最難降的妖魔是什么跋选? 我笑而不...
    開封第一講書人閱讀 56,621評(píng)論 1 284
  • 正文 為了忘掉前任,我火速辦了婚禮哗蜈,結(jié)果婚禮上前标,老公的妹妹穿的比我還像新娘坠韩。我一直安慰自己,他們只是感情好候生,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,741評(píng)論 6 386
  • 文/花漫 我一把揭開白布同眯。 她就那樣靜靜地躺著绽昼,像睡著了一般唯鸭。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上硅确,一...
    開封第一講書人閱讀 49,929評(píng)論 1 290
  • 那天目溉,我揣著相機(jī)與錄音,去河邊找鬼菱农。 笑死缭付,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的循未。 我是一名探鬼主播陷猫,決...
    沈念sama閱讀 39,076評(píng)論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼的妖!你這毒婦竟也來了绣檬?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,803評(píng)論 0 268
  • 序言:老撾萬榮一對(duì)情侶失蹤嫂粟,失蹤者是張志新(化名)和其女友劉穎娇未,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體星虹,經(jīng)...
    沈念sama閱讀 44,265評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡零抬,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,582評(píng)論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了宽涌。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片平夜。...
    茶點(diǎn)故事閱讀 38,716評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖卸亮,靈堂內(nèi)的尸體忽然破棺而出忽妒,到底是詐尸還是另有隱情,我是刑警寧澤嫡良,帶...
    沈念sama閱讀 34,395評(píng)論 4 333
  • 正文 年R本政府宣布锰扶,位于F島的核電站,受9級(jí)特大地震影響寝受,放射性物質(zhì)發(fā)生泄漏坷牛。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,039評(píng)論 3 316
  • 文/蒙蒙 一很澄、第九天 我趴在偏房一處隱蔽的房頂上張望京闰。 院中可真熱鬧颜及,春花似錦、人聲如沸蹂楣。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,798評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽痊土。三九已至肄扎,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間赁酝,已是汗流浹背犯祠。 一陣腳步聲響...
    開封第一講書人閱讀 32,027評(píng)論 1 266
  • 我被黑心中介騙來泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留酌呆,地道東北人衡载。 一個(gè)月前我還...
    沈念sama閱讀 46,488評(píng)論 2 361
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像隙袁,于是被迫代替她去往敵國(guó)和親痰娱。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,612評(píng)論 2 350