オブジェクトベースオーディオの時代は(もう一度)来るのか

update: 家庭用のDolby Atmosの展開が発表された: http://d.hatena.ne.jp/mjt/20140626/p1

• prev: http://d.hatena.ne.jp/mjt/20131223/p1
  • ゲームとサラウンドサウンド

『アナと雪の女王』のようなドルビーアトモス採用の映画がヒットすることによって、また国内でもオブジェクトベースオーディオ(object-based audio)が脚光を浴びつつある。細かいトラブル等は有るものの( http://togetter.com/li/646941 )、比較的良く受けいれられているように見える。
オブジェクトベースオーディオとは、個々の発音オブジェクトをミキシングせずに供給し、再生機器側で"レンダリング"することでよりロバストな立体音響を実現しようとするものと言える。Dolby Atomosや最近発表されたDTS-UHDが該当する。

• http://www.dolby.com/jp/ja/about-us/news-events/press-releases/2012/120424_1.html

• ドルビー、未来のエンタテインメント・サウンド Dolby Atmos (ドルビーアトモス)発表

(snip)
同時に最大128（チャネルまたはオブジェクト）までのロスレス音声入力データの転送が可能で、5.1chから64chまでのディスクリート出力をレンダリングできるドルビーアトモスは、映画館に新しい音響性能を提供します。

PCゲームの世界ではDirectSound3D等のAPIが有り、オブジェクトベースオーディオを制作する素地は昔から存在している(以前挙げたnVidiaのSoundStorm DSPは64オブジェクトをレンダリングできる : http://www.nvidia.co.jp/object/soundstorm_jp.html )。CG映画やビデオゲームはオブジェクトをコンピュータで配置できるので、オブジェクトベースオーディオを良くサポートできる。
オブジェクトベースオーディオと対比される用語としてはチャンネルベースオーディオが有る。11.1 chのチャンネルベースオーディオシステムを展開しているBarcoはオブジェクトベースオーディオにかなり否定的なホワイトペーパーを出している:

• http://barco.asia/~/media/Downloads/White%20papers/2012/WhitePaperAuro%20111%20versus%20objectbased%20sound%20in%203Dpdf.pdf?

(snip - オブジェクトベースオーディオの欠点として、)

• Requires more unique channels and speakers...24-64
• Good for ‘Dry’ sounds – but ‘Wet’ sounds (natural ambient sounds or sounds rich in reflections like an orchestra or crowd) cannot easily be made immersive
• New workflows and content creation tools are required
• Increased immersive audio-visual experience not guaranteed. The opposite might be the case.

しかし、2014年現在では、オブジェクトベースオーディオは既に(3D映画同様の)ひとつの流れとなっているように思える。

オブジェクトベースオーディオコンテンツの構成

Dolbyが公開している文章が参考になる:

• http://www.dolby.com/uploadedFiles/Assets/US/Doc/Professional/Dolby-Atmos-Next-Generation-Audio-for-Cinema.pdf

Dolby Atmos tools allow up to 128 tracks to be packaged: a 9.1 bed plus up to 118 audio objects.

BGMや背景サウンドのような移動しない音声は bed として直接通常のスピーカーに出力される。普通のコンテンツにはBGMやナレーションが存在するため、オブジェクトベースオーディオの作品と言えども、かならずチャンネルベースオーディオとしてオーサリングされている成分が存在することになる。
実際のデータは波形データとメタデータに分かれる。Dolbyはメタデータをデザインするためのツールも提供している:

• http://www.dolby.com/uploadedFiles/Assets/US/Doc/Professional/Authoring_for_Dolby_Atmos_Cinema_Sound_Manual%281%29.pdf

メタデータに含まれる情報の詳細は現状公開されていないが、少なくとも3次元座標と"サイズ"パラメタを持っている。

The object Size slider lets you spread audio for an object across the room, based on the current object position and active speakers in the room.
(snip)
You can set the object size to spread the audio for an object, as follows:

• At 0, object size is effectively off, and audio routes to speakers based on the x/y/z position or Speaker Snap mode.
• At 100, audio spreads to all active speakers, regardless of the location of the cursor.

For values between 0 and 100, spreading is based on the object size, the object location, and the number of active speakers.

オーサリングマニュアルを見る限り、一般的なゲーム向けの3DオーディオAPIに比べてパラメタはかなり簡素に見える。例えば、OpenALにはオブジェクトが発する音には"方向"/"広がり"パラメタが有り、ゲイン等はエンジン側で自動的に計算される。このようなパラメタが見あたらないため、ドルビーアトモスはマスタリングプロセスでの(手動の)制御を期待しているように見える。
言い換えれば、OpenALのような3DオーディオAPIを使用して実装されたゲームであれば、オブジェクトベースオーディオ環境でも良く機能する可能性がある。

消費者向け展開の動向

see update: Dolby Atmosも2014年から家庭用展開を行うことが発表されている
歴史的に、殆どの劇場向けオーディオ技術は家庭用にも展開されている。オブジェクトベースオーディオも例外では無いだろう。我々はゲームを劇場でプレイさせるわけには行かないため、商品化動向は重要な問題と言える。
しかし、現状では具体的な商品化のスケジュールはあまり明かでない。DTS-UHDは最初から消費者向けの展開を前提としており、今年のCESに合わせて発表を行っている。
重要な課題は、如何にして128chもの音声をHDMIやその他の手段でデコーダに送信するかというポイントにある。無圧縮で転送しようとすると200Mbps近いデータレートとなるため、現在普及しているHDMI1.4の帯域としてはギリギリと言える。
また、性質上、いわゆるAVアンプを含んだホームシアターシステムでの展開が前提となる。システムは大規模になる傾向があるため、設置性の問題を解決する必要もある。

レンダリング技術

オブジェクトベースオーディオはレンダリングを必要とするため、そのレンダリングのための方法論にもさまざまな物が考えられる。
特に、大量のスピーカを家庭に設置することが現実的では無い以上、単純な多チャンネルミキシングでない、ヘッドホンや限られた数のスピーカで効果を得る実装が非常に有力なものになり得る。
例えば、OpenAL実装はHRTFベースのもの(OpenAL Soft)やHigher Order Ambisonics(と、HRTF)によるもの( http://www.blueripplesound.com/gaming-home )等が有る。
ベルリン工科大学はGitHub上でWave Field Synthesisのためのライブラリを公開しており( https://github.com/sfstoolbox/sfs , GPL )、応用としてSound Scape Rendererも有る( http://spatialaudio.net/ssr/ , GPL )。FraunhoferのWave Field Synthesisを商用化したIOSONOはゲームオーディオにも進出しており、現在ではwwise( https://www.audiokinetic.com/jp/about/news/audiokinetic-and-iosono-redefine-the-audio-experience-for-video-games/ )に統合されている。
これらは現状ゲーム以外の良い(消費者向け)アプリケーションが無いが、今後オブジェクトベースオーディオコンテンツが家庭に進出するにつれ、様々なハードウェアソリューションが表われることが期待される。

オーディオ環境はゲームに追いつくのか

現代的な3Dゲームの多くはサラウンドには対応している。が、対応しているだけで、従来の"水平"サラウンドシステムで再生されるためその表現力には制約があった。
CodemastersはAES(Audio Engineering Society)で3D7.1と呼ぶスピーカーレイアウトを提案しており( http://www.codemasters.com/research/3D_sound_for_3D_games.pdf )、その中で既存のサラウンドレイアウトと比較している。オブジェクトベースオーディオを良く家庭で再現しようとする過程で、このような(立体的な)レイアウトの必要性は認識され、普及するように思える。
もちろん、ゲームからイノベーションを一般的製品として普及させることができるのも良いことだが、現実的には、まずプライマリなアプリケーションとしての、オブジェクトベースオーディオ映画作品の家庭での再現を考える必要がある。幸いなことに、オブジェクトベースオーディオシステムは事実上ゲーム中に見られる3D オーディオ APIそのものであり、過去に存在し現在は絶滅した3D Audioハードウェアとして、今後のホームシアターを捉えることができるのではないだろうか。3D映画再現のための3D TVにゲームが良い3Dコンテンツを提供できるのと同様に、良いオブジェクトベースオーディオコンテンツも提供する必要がある。