今月の表紙 東京工業大学
AIが考え24時間実験する“科学者ロボット”
未知の探索空間も解析して新素材を開発
一杉太郎 東京工業大学 物質理工学院 応用化学系 教授

●文:渡辺 元・本誌編集長
●写真:川津貴信

人間の認知的特性を利用し
2Dを3Dに感じさせる

 NTTが研究所で開発した最新技術・サービスをデモ展示する「NTT R&Dフォーラム2018」が2月、NTT武蔵野研究開発センタで開催された。今年特に注目を集めた展示は、スポーツなどの高臨場感映像をライブ中継して表示するイマーシブテレプレゼンス技術「Kirari !」の最新成果だ。Kirari ! はNTTサービスエボリューション研究所が開発。2015年のNTT R&Dフォーラムから毎年展示され毎回注目されているが、今年はさらに技術が進展した。空中に3Dで映し出されたように見える2Dの選手の競技映像を、映像表示装置の全周囲から観客が取り囲むようにして裸眼で鑑賞できるようになったのだ。展示を見た来場者からは、「映像も音響も実際に競技場で観戦しているような臨場感だ」といった感想がたくさん聞かれたという。

 新しく開発された映像表示装置のポイントは、装置の前後左右どの位置から見ても、装置の中央にある床面の上で選手が動いているように見えることだ。選手の映像は4Kカメラで通常と同じように撮影し、選手の部分だけを切り抜いた2DのHD映像。映像表示装置の天井部分には、四方向にそれぞれ液晶ディスプレイが床に向けて設置され、装置の中央には四方向に向けて傾斜した4面のハーフミラーが設置されている。観客は天井の液晶画面に映った競技映像をハーフミラーに反射させて見ているわけだ。映像表示装置の反対側にいる観客の姿もハーフミラーを透過して見えるため、反対側の観客と自分の間でミニチュアの選手が競技をしているように見える。

 基本的な仕組みは、ハーフミラーに画像を映して空中に被写体があるように見せるペッパーズ・ゴースト。ペッパーズ・ゴーストは19世紀に発案され、現在も演劇やアミューズメントパークなどで使われ、最近では初音ミクやPerfumeのライブなどでも、空中に映像が映っているように見せる演出に活用されている。しかしペッパーズ・ゴーストをそのまま使っただけでは、選手が上下左右の方向に動く映像を再現することはできるが、立体感を伴った奥行き方向への動きをうまく再現できない。今回開発した技術はこの課題を解決したことによって、選手の映像の奥行き方向への動きを再現し、実際には2D映像なのにまるで3D映像が空中に浮かんでいるように感じさせることに成功した。

 映像表示装置の映像システム部分の開発を担当した井阪 建・日本電信電話株式会社NTTサービスエボリューション研究所 ナチュラルコミュニケーションプロジェクトが、新技術について説明する。「従来の技術でも選手が奥行き方向に動く映像を映すことはできますが、撮影したカメラと選手の位置関係と、映像を見ている観客と選手の映像の位置関係との違いが、映像を見ている観客には違和感として感じられ、2D映像であることが強調されてしまいます。例えば選手がカメラに向かってまっすぐ進んでくるところを撮影した映像を映像表示装置の観客がカメラよりも左側の位置で見ると、本来ならば選手の映像が観客の右側に向かって斜めに接近してくるはずなのに、映像は観客の正面に向かって接近してきます。これが違和感を覚えさせ、映像が3Dではなく2Dであることがバレてしまうのです。今回の技術開発では、カメラの位置と観客の視点の位置の乖離がどの程度の範囲内なら2D映像であることがわからないか、人間の認知的な許容量を30人の被験者による実験で明らかにしました。そして選手の動きがその許容量の範囲内に収まるように映像を制御して映し出しています」。

 さらに実際の立体物と映像を組み合わせることでも立体感を感じさせている。人間が映像や物体の奥行きを判断するときの手がかりには、生理的手がかりである両眼視差と、対象の大きさやパースなど片眼でも奥行きがわかる絵画的手がかりの大きく二つがある。映像表示装置の中央にある床面に対しては、実際の立体物なので観客の両眼視差が成立している。その上に絵画的手がかりで奥行きを感じられる2D映像を組み合わせることで、両眼視差と絵画的手がかりの両方で強力に奥行きを感じさせた。このほかにも、赤外線レーザーを使った三次元センシング、パーティクルフィルタによる特徴量の統合とディープラーニングを組み合わせて選手の位置を高精度に検出して追跡するオブジェクト追跡技術など、NTTが新開発した映像技術も使われている。

多数の仮想的スピーカーを
空中に設けて立体音響を実現

 今回展示した映像表示装置では、立体的な音響も映像を立体的に感じさせる上で大きな効果を出している。映像表示装置の音響システム部分を開発した堤 公孝・日本電信電話株式会社 NTTサービスエボリューション研究所 ナチュラルコミュニケーションプロジェクト 主任研究員は、「今回の音響技術が従来の22.2chなどと最も違うところは、波面合成音響技術を使って音を前に飛び出させて、観客がいる場所に仮想的なスピーカーを作り出していることです。太陽の光をレンズで一点に集めるように、スピーカアレイによって音のパワーをスピーカーよりも前方の客席内の一点に集めることによって、立体的な音響効果を実現しました。装置に設置したたくさんのスピーカーが音を干渉させて、音のパワーを一点に集める仕組みです。昨年も音響技術を展示しましたが、今年は手法を変えて客席内の空中のいろいろな場所に同時多発的に音を集めて、多数の仮想的なスピーカーを作り出しています」と新技術を解説する。これによってあたかも実際の会場で観戦しているかのような音の奥行きや臨場感を再現した。

 ホログラフィーやライトフィールドなどで本物の3D映像を再現するのが理想的だが、それをリアルタイムに制御して中継するのは現在の技術では課題が多い。それに対して、今回展示した技術は本当の3D映像ではないが、人間が持っている認知的な特性を引き出して錯覚させることで効率的に立体感を与える、実用的な手法なのだ。

 来年の展示会に向けた映像部分の開発目標としては、「現在は表示装置の全周囲のどこから見てもある程度の選手の奥行き移動を再現できますが、より積極的に人間の認知特性を利用し、さらに大きな奥行き移動を再現できるようにしたいと思います」(井阪氏)。音響については、「簡易なステレオスピーカーや5.1chスピーカーでも、この映像表示装置と同じような音の奥行きやサラウンド感を提供できる技術の開発を目指しています。そのためには現在の波面合成とは異なるアプローチが必要になってきます。新しい技術にも足を踏み入れていきたいと思っています」(堤氏)と、新しい手法からの挑戦にも意欲的だ。

 Kirari !は2020年の東京五輪の頃までに実用化することを目指して開発が進められている。「大規模なパブリックビューイングの会場だけでなく、スポーツバーや家庭でも、選手がそこに来て競技をしているかのように臨場感のある映像・音声を楽しめる新しい体験を実現したいと考えています。スポーツのほかにも、歌舞伎や音楽コンサートなど今までは会場に行かなければ体験できなかったイベントもライブビューイングで全方向から鑑賞できるようになります」(井阪氏)。

月刊ニューメディア アイコン