博報堂DYホールディングスとの共同研究にて進める、実空間とサイバー空間を融合させた新たなコミュニケーション体験構築プロジェクト「GIBSON」において、観光・買い物・イベント用途での体験価値検証のための実証実験を、三菱地所株式会社、Tokyo Marunouchi Innovation Platformと共同にて実施しました。GIBSONは、実空間（フィジカル空間）の 3Dコピーである「デジタルツイン」を用いて「サイバー空間」を構築し、そこにログインする遠隔地（体験スペース）のVRユーザーと実空間（丸の内周遊エリア）のARユーザーとがあたかも同じ空間で場を共有しているようなコミュニケーション体験を可能にするものです。

近年、実際の街のデジタルコピー（デジタルツイン）を用いて、VR空間を構築する試みが増えています。しかし、街の形状を3Dモデルで再現できたとしても、実空間は刻一刻と変化を続け、天候や時間帯によっても大きく姿を変えるため、実空間とそれを再現したサイバー空間では時が経つ程、大きく異なるものになっていってしまうのが実状です。 ARユーザーとVRユーザーの観測する環境コンテキストをできる限り揃えることで遠隔地間のコミュニケーションを実現するGIBSONのようなシステムにおいては、そのズレがコミュニケーションや没入感の阻害要因となり、VRシステム利用者がその場所（現地）にいるという感覚（臨場感）を得ることが難しくなります。このような課題に対して、RGB映像、360度映像、LiDARによる立体映像等の複数の表現フォーマットを用いて実空間のリアルタイムな状況をVR空間側に逐次配信し、そこに空間音響等の技術も組み込むことで、遠隔地から参加するVRユーザーも変化し続けている街の状況を、臨場感を持って体験できるのではないかと考えました。また、多様な映像配信技術を組み合わせて配信するため、今回の実験ではローカル5G回線を活用し、臨場感の向上への寄与を評価しました。

二人組の被験者（合計11組）に GIBSONのシステムを用いて丸の内エリアを周遊してもらった後、体験内容に関するアンケートとヒアリングを行いました。丸の内エリアの現地にいるAR側のMESON・博報堂メンバーは、ARグラス「NrealLight」を使用、引率役となり、遠隔地の屋内オフィスから「Oculus Quest 2」を使用してVR空間にアクセスしている被験者と共にバーチャル丸の内を歩いて周りました。二人組の被験者は、現地にいるAR側のスタッフから現地の映像配信を受け取って鑑賞したり、バーチャル空間内に配置された映像などを見ながらお互い会話するなどしてバーチャル空間の街歩きを行いました。また、体験の中で360°動画、点群動画、2D 動画等の技術を用いて街の中の様子を伝送し、撮影対象物に観光、イベント、コマースに関連するものを盛り込むことで、現在想定しているユースケースにおける体験の価値を評価しました。

GIBSONのコンセプトで実現されるコミュニケーション形態では、実際の現地（今回は丸の内）にいるという感覚に加え、“サイバーとフィジカルが融合した新たな空間に自分が実際に居る”という感覚をもたらすことも、今回の実証実験で分かりました。また、そうした臨場感に加えて、周囲の動的な状況変化の観測についてもスコアが高く、事前に想定していたユースケースである観光・イベント・コマースでの活用が有望であることを確認できただけでなく、オンライン／オフラインをハイブリッドさせたオフィスでの活用など、さらなるユースケースについても体験者の皆様から示唆をいただくことができました。