3D音效最常見的應(yīng)用場(chǎng)景是在游戲中。過去,游戲中的3D音效(如槍聲摩钙、腳步聲)普遍基于傳統(tǒng)游戲開發(fā)引擎(如Unreal、Unity)實(shí)現(xiàn)查辩,但當(dāng)玩家聯(lián)麥時(shí)胖笛,原本不管游戲中隊(duì)友在哪兒,它的聲音聽上去都差不多宜岛。試想一下长踊,在大家都手忙腳亂地“突突突”時(shí),隊(duì)友發(fā)來求助語音“我在你東南方向10米的茅房里中彈了快來扶我……”萍倡,你還得看一眼地圖再判斷判斷他們?cè)谀膬荷肀住R悄苤苯勇犅暠嫖唬嫫饋硎遣皇蔷头奖愣嗔耍拷又魃隙鷻C(jī)再感受一下:
要實(shí)現(xiàn)聽聲辯位阱佛,首先得知道帖汞,我們?yōu)槭裁茨芨兄铰曇舻姆轿唬?/p>
我們能感知到聲音的方位,主要是由于同個(gè)聲源傳到左右雙耳時(shí)的音量凑术、延時(shí)等信息是不一樣的翩蘸。具體點(diǎn)說,我們通過雙耳信號(hào)間的時(shí)間差麦萤、聲級(jí)差鹿鳖、音色差來判斷水平橫向定位;耳廓起到類似梳狀濾波器的左右?guī)椭趶?fù)合聲中判斷出縱向定位壮莹;根據(jù)聲級(jí)大小翅帜、頻譜狀況和個(gè)人經(jīng)驗(yàn)等因素來判斷深度定位。
那么命满,如何模擬聲音傳播到雙耳間的差異涝滴,從而模擬出聲音的位置?
這里就需要頭部相關(guān)數(shù)據(jù)傳輸函數(shù)HRTF(Head-Related Transfer Function)來完成這項(xiàng)工作胶台。它可以看成是聲音信號(hào)從聲源處傳播到雙耳的綜合濾波過程歼疮,該過程包括空氣濾波、周圍環(huán)境的混響和人體(軀干诈唬、頭部韩脏、耳廓等)的散射、反射等濾波過程铸磅。
目前赡矢,業(yè)界有比較成熟的開源HRTF庫。工程師們是這樣做的:準(zhǔn)備一個(gè)內(nèi)置麥克風(fēng)的人體頭部模型阅仔,在某個(gè)空間位置播放原音源吹散,對(duì)比麥克風(fēng)收錄的聲音和原音源,就能得出一個(gè)HRTF八酒。由于人耳對(duì)于聲源空間方位的感知靈敏度有限空民,無需測(cè)量所有空間位置對(duì)應(yīng)的HRTF,所以現(xiàn)有HRTF庫通常是在空間球面上選取1000左右采樣點(diǎn)來進(jìn)行測(cè)量羞迷。
真正完成實(shí)時(shí)語音3D虛擬化功能界轩,不只是簡(jiǎn)單地調(diào)用HRTF函數(shù),還需要將游戲世界映射為真實(shí)環(huán)境闭树,并進(jìn)行高頻運(yùn)算耸棒。它的實(shí)現(xiàn)的過程大致如下:假設(shè)有N個(gè)玩家正在游戲中連麥,由于游戲的實(shí)時(shí)性要求很高报辱,為了保證游戲的流暢度,每個(gè)玩家終端在20ms的單位時(shí)間內(nèi),至少接受(N-1)個(gè)包含語音信息和相對(duì)地理位置的數(shù)據(jù)包碍现。根據(jù)語音信息幅疼、相對(duì)地理位置信息選用適合的HRTF算法,融合游戲地圖中聲源傳播路徑上是否有阻擋昼接、玩家在游戲中所處的環(huán)境音(比如流水聲爽篷、空曠房間回聲)等信息,最終在玩家設(shè)備終端渲染出逼真的實(shí)時(shí)3D音效慢睡。
整個(gè)過程計(jì)算工作非常密集逐工,有些中低端的設(shè)備無法承受。如何讓玩家終端設(shè)備消耗最少的資源漂辐,又保證游戲流暢度一直是業(yè)界探究的方向泪喊。此外,部分HRTF庫對(duì)于音源信號(hào)中的某些頻率衰減較為嚴(yán)重髓涯,尤其是對(duì)于包含豐富頻率成分的樂器聲影響更加明顯袒啼。這不僅影響音源定位準(zhǔn)確性,也會(huì)導(dǎo)致最終輸出的環(huán)境音中樂器聲較為沉悶纬纪。
為此蚓再,基于騰訊天籟音頻解決方案,騰訊云游戲多媒體引擎GME推出了實(shí)時(shí)語音3D虛擬化功能包各。通過對(duì)終端渲染算法的優(yōu)化摘仅,運(yùn)算效率提高近50%,單音源空間化實(shí)時(shí)渲染復(fù)雜度在0.5ms左右问畅,讓絕大多數(shù)中低端設(shè)備也可以輕松完成實(shí)時(shí)3D音效渲染娃属。另外,針對(duì)渲染過程中信號(hào)分量衰減問題按声,GME通過自研音頻信號(hào)均衡補(bǔ)償方法提升3D渲染效果膳犹,讓樂器等游戲中的環(huán)境音更為通透。不止于此签则,作為一站式語音解決方案须床,GME還提供了噪聲抑制、回聲消除渐裂、增益控制豺旬、信源編碼、語音均衡等功能柒凉,一次接入滿足多重需求族阅。
目前,GME已支持多平臺(tái)接入膝捞,如windows坦刀,android,iOS,macOS鲤遥,xbox沐寺,PS4,Switch盖奈,VR設(shè)備混坞。特別值得一提的是,騰訊云GME是國(guó)內(nèi)首家支持VR設(shè)備上實(shí)時(shí)語音3D虛擬化的云服務(wù)解決方案钢坦。
過去游戲行業(yè)重視搶流量和用戶究孕,品質(zhì)倒是次要的。但隨著游戲存量市場(chǎng)的到來爹凹,日漸成熟的玩家很難再被質(zhì)量粗劣的游戲吸引厨诸。在音效等細(xì)節(jié)中注入匠心,制作精良的游戲作品才能具備長(zhǎng)久的生命力逛万。做好這些泳猬,其它的只需要把投票權(quán)交給玩家。