VR讓百年歷史的音頻技術(shù)東山再起
Mona Lalwani寫于2015年2月12日10:30

去年下半年的一個晴朗的下午，我去曼哈頓上東區(qū)拜訪普林斯頓大學(xué)機(jī)械與航空航天工程專業(yè)的一位教授Edgar Choueiri。Choueiri也是該校3D音頻和應(yīng)用聲學(xué)實驗室的負(fù)責(zé)人，在過去的10年里，他全身心投入到雙耳錄音系統(tǒng)的開發(fā)、應(yīng)用和改良上——一種擁有百年歷史的逼真3D音頻完美捕捉的音頻錄音技術(shù)。
在他燈光溫暖的公寓里，我窩在他起居室的皮質(zhì)沙發(fā)里，眼前一對揚聲器赫然可見。Choueiri坐在旁邊的椅子上，滑動iPad的屏幕，設(shè)置了一組雙耳音頻演示。過了一會兒，Amber Rubarth那無拘無束的聲音充滿了整個房間，她演唱了一首樂器伴奏版的Louis Armstrong的“A Kiss to Build a Dream On”。整個房間變成了一場近距離的現(xiàn)場音樂會，音景生動有如身臨其境：Rubarth好像就在我右前方，樂隊則在我另一邊。右邊的大提琴撥動著琴弦。幾句深情演唱之后，左邊的小提琴聲又吸引了我的注意。我憑直覺朝那個方向看了一眼。有那么幾秒，我的大腦甚至就要相信整個表演就是真實的現(xiàn)場而不是錄音了。
“你可以聽到鳥兒飛過你頭頂。你可以聽到一只耳朵旁邊的輕聲細(xì)語。”
 “它把你帶入到本來最初的那一個聲音場中，”Choueiri介紹雙耳錄音時說。“你可以聽到鳥兒飛過你頭頂，你可以聽到一只耳朵旁邊的輕聲細(xì)語。如果你錄制了樂隊的聲音，那么你將聽到樂隊演奏時的精確位置。”
幾十年來，雙耳錄音還算一個新事物，并且由于技術(shù)上的低要求而被忽視了。但是隨著虛擬現(xiàn)實硬件的崛起，比如Oculus Rift,索尼的Morpheus和三星的Gear——這些都是依靠逼真的3D音頻讓用戶身臨其境的系統(tǒng)——雙耳音頻處在了復(fù)興的浪頭上。
雙耳錄音系統(tǒng)的獨特在于其模仿了人類大腦的工作方式。我們大腦的解剖學(xué)結(jié)構(gòu)對我們?nèi)绾卫斫饴牭降穆曇粲袥Q定性影響：厚厚的頭骨和海綿狀的大腦兩側(cè)各有一只耳朵，我們聽到的聲音在不同的時間進(jìn)入左右耳。如果一只狗在你左耳邊叫，則叫聲傳到右耳需要多花幾微秒；一邊耳朵聽到的也比另一邊大聲。此外，聲波與聽者的身體結(jié)構(gòu)——耳廓（或外耳）、頭部和軀干——還有周圍的空間相互作用，創(chuàng)造出聽者專屬的聲音變化，這些都有所謂的頭部相關(guān)傳輸函數(shù)。大腦分析這些極小的時間和強(qiáng)度的耳間差別，從而精確地定位聲音。
習(xí)慣上錄音有兩種方法：單聲道和立體聲。單聲道使用單個話筒采集聲音，而立體聲使用兩支分開放置的話筒。雙耳錄音在立體聲錄音的基礎(chǔ)上更進(jìn)一步，在仿真人工頭的兩側(cè)耳狀腔內(nèi)放置兩支話筒。因為仿真人工頭重塑了人腦的密度和形狀，所以這些話筒捕捉、加工聲音就和人耳真是聽到的一樣，保留了雙耳之間的差別信號。使用耳機(jī)聽時能獲得最佳體驗效果，左右耳可以聽出明顯差別。這是一個簡單的概念，但是通過高質(zhì)量的話筒實現(xiàn)、并且使用同等高質(zhì)量的耳機(jī)播放后，效果就很神奇：它能夠讓大腦相信聽到的是直接的聲音。

AT&T的 Oscar，一款早期的雙耳錄音仿真頭。圖片由ACTA Acustica提供
這種錯覺創(chuàng)造出3D音頻，但不要與環(huán)繞立體聲混淆了。交換這兩個術(shù)語的概念最能娛樂——甚至有時會惹惱——聲學(xué)家了。環(huán)繞立體聲系統(tǒng)使用了多個揚聲器，在聽者周圍創(chuàng)造出360°的聲場。比如你在看一場環(huán)繞立體聲的電影：你看到屏幕一側(cè)發(fā)生爆炸，那么影院對應(yīng)一側(cè)的揚聲器就會發(fā)出炮火的聲音。配置了Dolby Atmos技術(shù)（公司最近的技術(shù)疊加）的影院有效地全方位包裹住聽眾。但是雙耳音頻是通過精確重塑指定場景中你耳朵所聽到的聲音，不用使用數(shù)量眾多的擴(kuò)音器，就能實現(xiàn)更自然的3D聲音。
雙耳音頻的核心技術(shù)可以追溯到19世紀(jì)的法國工程師Clement Ader。1881年，Ader設(shè)計出了電話戲劇，這是一種使用電話傳送并播放巴黎歌劇秀的系統(tǒng)。成對的麥克風(fēng)有序放置在舞臺前方，覆蓋了從左到右的整個范圍。表演的聲音信號通過電話接收器傳輸給另一端的聽眾。一對接收器分別戴在兩只耳朵上，聽眾就可以聽到Palais de l’Industrie劇場中的特定組曲。
1933年AT&T貝爾實驗室把雙耳音頻帶到芝加哥世界展覽會上。該公司的聲學(xué)研究部創(chuàng)造了一款名為Oscar的機(jī)械人工頭，在其兩頰、耳朵前面放置了麥克風(fēng)。Oscar坐在玻璃房內(nèi)捕捉聲音，而游客聚集在外面使用耳機(jī)精確地聽到人工頭鎖聽到的聲音。這種技術(shù)改進(jìn)了Ader的經(jīng)驗，但是這兩項發(fā)明音質(zhì)都很差。

Oscar第二代，在AT&T的第一代人工頭基礎(chǔ)上有了明顯的改進(jìn)。圖片由ACTA Acustica提供。
二戰(zhàn)期間及之后的幾十年內(nèi)，雙耳音頻的發(fā)展面臨著嚴(yán)重的阻礙：原始的技術(shù)無法實現(xiàn)精準(zhǔn)、高保真的錄音。但在1973年，知名德國麥克風(fēng)公司Neumann引入了具有突破性的一款模范雙耳錄音設(shè)備KU-80。Neumann的迭代包含了一個分離的人工頭，麥克風(fēng)放置在耳膜處，這個位置捕捉的聲音信號比之前的設(shè)備更精準(zhǔn)。間隔了三代人工頭又出現(xiàn)了KU-100，這一代人工頭于1992年引入，特點是運用了全向麥克風(fēng)，巧妙地保留了空間線索和聲音整體的音質(zhì)。它持續(xù)成為雙耳錄音人工頭的核心。
雙耳音頻在某些錄音群體中能夠找到歸宿：這項技術(shù)在廣播劇和實驗性的聲音藝術(shù)中就有很好的效果。同時，Lou Reed、Thom Yorke和Imogen Heap這些音樂家都體驗過雙耳音頻的作品。最近，ASMR（自發(fā)性感知經(jīng)絡(luò)反應(yīng)）團(tuán)體正在使用雙耳錄音，想要觸發(fā)他們認(rèn)為可以起到安撫、舒緩作用的身體反應(yīng)。
現(xiàn)在，幾乎在電話戲劇終結(jié)了一個世紀(jì)后，投資者又開始把目光轉(zhuǎn)移到3D音頻技術(shù)上：索尼的VR耳機(jī)項目Morpheus的原型包含了在開發(fā)中定制3D音頻雙耳解決方案。“3D音頻增加了現(xiàn)場感，這是我們一直努力在VR中想要實現(xiàn)的視覺感受，”索尼電腦娛樂美國公司的高級研發(fā)總監(jiān)Richard Marks說，“當(dāng)聲音作為視覺的刺激物從同樣的方向傳來，虛擬體驗的可信度就極大增加了。既然完全視覺的VR體驗可以實現(xiàn)，那么再加上3D音頻就能極大地增強(qiáng)VR體驗的效果和深度。”
比起視覺上的3D效果，3D音頻提供的體驗內(nèi)容更豐富。“與視覺不同，3D音頻不會受到顯示器的視野局限，它可以帶來‘完整的360度’體驗，”Marks說，“VR設(shè)計的最大挑戰(zhàn)之一就是用戶可以看向任何方向，可能并沒有看到有些重大事件的發(fā)生。但是使用3D音頻作為信號，就可能把用戶的視覺上的注意力轉(zhuǎn)移到聲音上，類似于現(xiàn)場劇院使用的技巧。”

3Dio的全雙耳錄音裝置。圖片來自futureofstorytelling
視頻導(dǎo)演Chris Milk——之前為Kanye West、U2和Arcade Fire制作過音樂視頻——他利用雙耳錄音的擬真能力制做出虛擬領(lǐng)域的演唱會。去年，他把Beck的一場演唱會制作成了一部革命性的VR電影“Hello, Again”。為了配合360度的視覺體驗，Milk開發(fā)了一種雙耳系統(tǒng)，制作了360度方位的聲音。“如果我讓你們看到每個方向的畫面，聲音只來自于一個方向可行不通，”他說，“你朝后看的時候，還能聽到你身體朝前時的聲音。所以我們需要根據(jù)你視覺上看的位置來動態(tài)改變聲音。”
他巧妙地設(shè)計了一個系統(tǒng)，使用了8只耳朵的全雙耳人工頭，把4對3Dio的自由空間麥克風(fēng)每90度進(jìn)行植入。然后做了一個軟件，對這些耳朵捕捉到的聲音進(jìn)行加工，產(chǎn)生所需的效果。戴上VR耳機(jī)觀看時，耳機(jī)中的雙耳聲音正好配合了Beck視頻中一步步走來的視錯覺。
Apollo Studios的總監(jiān)Jean-Pascal Beaudoin很看重3D音頻對VR體驗的重要性。“如果有一個清晰的聲音從你左邊傳來，你轉(zhuǎn)動頭部90度沖那個方向，這時你所期待的聲音就應(yīng)該正好在你前面?zhèn)鱽恚?rdquo;Beaudoinshuo ,“如果沒有，如果聲音還是在你左邊，可能你就會很出戲，甚至自己都沒有意識到這個不好的體驗。”
Beaudoin為VR做的3D聲音是由Felix & Paul Studios提供的，F(xiàn)elix & Paul Studios是三星Gear委托制作一系列360度實景真人視頻的VR產(chǎn)品公司。“我最感興趣的是通過創(chuàng)造讓3D音頻在敘事、情感和互動方面展現(xiàn)出無限可能性，”Beaudoin說，“我們在融合VR媒介的方面才僅僅做到表面，但是我們做的每個項目都在建立一種新語法的層面取得了進(jìn)步。”

Thom Yorke在用Neumann仿真人工頭錄音。圖片由Dead Air Space提供。
盡管雙耳音頻存在巨大潛能，但是在VR內(nèi)容的世界里并沒有普及。“在制作內(nèi)容的時候，音頻往往處于次要位置，” Jaunt團(tuán)隊（Jaunt是一個捕捉并創(chuàng)造電影虛擬現(xiàn)實的開發(fā)商和一站式服務(wù)點，基地在帕洛阿爾托）的首席音頻工程師說，“那么多的作品融入了虛擬元素，無論是游戲還是電影，有時候音頻只是后來加進(jìn)來的。但VR作為一個有內(nèi)容的媒介來說，很重要的一點是，這個媒介從一開始就能夠把雙耳音頻植入在其中，這樣內(nèi)容制作者就很容易使用雙耳音頻了。”Jaunt保證在他們的平臺創(chuàng)作的每一個內(nèi)容都會出現(xiàn)雙耳音頻。
我們再回到曼哈頓，Choueiri正在考慮另一個問題：自從這項技術(shù)全面開始，就為耳機(jī)保留了雙耳音頻。但是Choueiri想要讓外部揚聲器系統(tǒng)也能實現(xiàn)這項技術(shù)，這樣就有更廣的觀眾群。挑戰(zhàn)在于，用了揚聲器，右耳不光聽到右邊的信號，同時也聽到了專為左耳準(zhǔn)備的信息。“信號混在一起，這樣是聽不到3D聲音的，大腦只能定位揚聲器的位置，”Choueiri這樣說，“這就像看3D電影的時候不戴3D眼睛。”
盡管很慢，但是可以肯定的是雙耳音頻正變成虛擬現(xiàn)實發(fā)展中的關(guān)鍵。
幾十年來，揚聲器之間的混亂串聲問題一直困擾著音頻制作團(tuán)隊。但是Choueiri的BACCH SP濾波器可以保留一對揚聲器的聲音信號，為聽眾創(chuàng)造出3D音頻的感覺。Jawbone在過去的兩年里采用了普林斯頓大學(xué)的算法，為他的無線藍(lán)牙揚聲器Jambox制作了一個現(xiàn)場音頻的濾波器。裝上這個迷你揚聲器，數(shù)字濾波器優(yōu)化了音頻，就能創(chuàng)造出3D的聲音體驗。盡管很有效，但是這種3D效果的體驗只局限在一個最佳聽音位置——設(shè)備需要放在聽者的中心位置。聽者只要離開這個位置，3D聲音體驗就會立即崩壞。Choueiri說這款軟件有一個版本是BACCH-dSP，它加入了頭部追蹤的特點，無論聽者頭部如何運動都能保持3D效果，實現(xiàn)了在筆記本電腦上體驗3D音頻。
盡管很慢，但是可以肯定的是雙耳音頻正變成虛擬現(xiàn)實發(fā)展中的關(guān)鍵。Oculus最近的原型Crescent Bay上個月在消費電子展上首次公開，它結(jié)合了雙耳技術(shù)與Rift的頭部跟蹤技術(shù)，實現(xiàn)了聽覺-視覺的融合。雖然索尼的項目Morpheus還沒有公布產(chǎn)品的最終規(guī)格，但它們把重點放在3D音頻上是顯而易見的。正如Jaunt的Adam Somers所說，“雙耳音頻對于在VR內(nèi)容中創(chuàng)造身臨其境的體驗至關(guān)重要。我們認(rèn)為音頻在整個體驗中占據(jù)了50%的比重。”

編譯：小旭音樂

轉(zhuǎn)自《midifan月刊》2016年12月第129期