「GIBSON」は、新型コロナウィルスの世界的な蔓延によってフィジカル空間での移動が制限される中で新たに人と人とを繋ぎ直す仕組みとは何か、今後スマートシティや万博など、フィジカルにその街にいる人と、デジタル的にその街を訪れる人の間のコミュニケーションをどう紡げるか、という問いをテーマに始動したプロジェクトです。「現地と遠隔にいる2人があたかも隣にいるかのように感じる」サイバーフィジカル（AR／VR）横断のコミュニケーション体験を構築し、国土交通省主催の3D都市モデルの整備・活用・オープンデータ化プロジェクト「PLATEAU」へ参画する形で実証実験を行いました。今後はイベント、観光、コマースといった都市生活に関わる領域でのコミュニケーションプラットフォーム構築を目指しています。本プロダクト、そして実証調査結果は、コンピュータグラフィックスとインタラクティブ技術に関するカンファレンス・展示会「SIGGRAPH ASIA2022」にて論文として採択されました。

3D都市モデル／VPS技術をベースに、遠隔地のVRユーザーと現地のARユーザーが同じ空間を共有できるサイバー・フィジカル横断のコミュニケーション体験を、渋谷神南エリアという都市スケールで実現することを目指しました。 従来のVR体験では、一度構築したデジタルツイン空間では現実の出来事が反映・更新されないという課題がありました。しかし、GIBSONではARユーザーの視界映像がリアルタイムにVRユーザーのデジタルツイン空間に重なる形で伝送されることで、離れていてもリアルタイムな観光やショッピングが可能となります。AR／VRユーザーの都市の空間座標が同期されることで、渋谷PARCO周辺の渋谷神南エリアを観光したりウィンドウショッピングをするユースケースを想定しました。

AR／VR両デバイスを活用したコミュニケーション体験を行うGIBSONのUIは、空間的で心地よいインタラクションを志向し、3Dモデリングツール「Cinema4D」を用いることで立体的なUIアニメーションを制作しました。 実証調査では、ARグラス「NrealLight」とVRヘッドセット「Oculus Quest 2」を活用したAR／VR横断の周遊体験の実現を目指し、空間座標同期のための「VPS」（Visual Positioning System）の広域対応、空間に重畳される閲覧コンテンツの「読み込み負荷調整」、「WebRTC」を利用したARからVRへの「RGB映像配信」など多岐にわたる技術検証を行いました。 GIBSON VR版の舞台となる渋谷の街は、国土交通省による都市3Dモデルの構築プロジェクト「Project PLATEAU」で整備されたデータ「CityGML」を活用しました。処理性能の限られたOculus Quest 2で快適に動作させつつ、没入感や驚きを実現するために、GIBSONの世界観を表すテーマをベースに、テクスチャ・メッシュに空間演出を加えるなど表現を模索していきました。

渋谷神南地域を対象に、サイバー空間及び現地の渋谷を横断し、同じ空間を共有しているかのような周遊散歩やコミュニケーションによる付加価値や円滑性を検証しました。また、都市空間に紐づく情報コンテンツを配置し、都市の魅力発見に対する効果検証も実施しました。実証調査により、AR／VR技術を用いて空間を共有しながら周遊することが、ユーザー同士の親密感の醸成や街に関する発見や愛着の増加につながることが分かりました。都市を周遊する中で、遠隔から通行人と目が合うような感覚を得たり、街の喧騒が聞こえたりすることが従来のVR体験より臨場感が高く、満足度に寄与していたことが示唆されました。