株式会社MESON（東京都渋谷区、代表取締役社長：梶谷健人、以下 MESON）は、株式会社博報堂ＤＹホールディングス（東京都港区、代表取締役社長：水島正幸、以下博報堂ＤＹホールディングス）との共同研究にて進める、実空間とサイバー空間を融合させた新たなコミュニケーション体験構築プロジェクト「GIBSON（ギブソン）」において、観光・買い物・イベント用途での体験価値検証のための実証実験を、三菱地所株式会社（東京都千代田区、代表執行役執行役社長：吉田淳一、以下三菱地所）、Tokyo Marunouchi Innovation Platform（以下、TMIP）と共同にて実施致しました。

「GIBSON」は、実空間(フィジカル空間)の 3Dコピーである「デジタルツイン」を用いて「サイバー空間」を構築し、そこにログインする遠隔地(体験スペース)の VRユーザーと実空間(丸の内周遊エリア)の ARユーザーとがあたかも同じ空間で場を共有しているようなコミュニケーション体験を可能にするものです。


​

今回の実験では、大手町・丸の内・有楽町地区で活動する NPO 法人大丸有エリアマネジメント協会、一般社団法人大手町・丸の内・有楽町地区まちづくり協議会、三菱地所(株)にて構成された実行委員会主催の社会実験「Marunouchi Street Park 2021 Winter(*2)」と連携し、「GIBSON」が将来的に活用を想定している観光・買い物・イベント用途での体験価値の検証を行いました。

＜実証実験の概要＞
日程：2021年12月20日～23日 各日10:00～16:00
場所：
・ARユーザー 丸の内仲通り、丸の内ビル1F「マルキューブ」
・VRユーザー 新丸の内ビル10F「EGG JAPAN」、大手町パークビル会議室
対象：TMIP会員企業の方、博報堂DYホールディングス・MESONが募集した被験者
目的：AR/VR横断コミュニケーションがもたらす臨場感やビジネスユースケースにおける価値の評価検証
※本実験は、新型コロナウィルス感染症対策に十分配慮して実施致しました。

実証実験の結果、GIBSONのコンセプトで実現されるコミュニケーション形態においては、実際の現地(今回は丸の内)にいるという感覚に加え、”サイバーとフィジカルが融合した新たな空間に自分が実際に居る”という感覚をもたらすことが分かりました。また、動的な周囲の状況変化の観測に関わるスコアも高く、事前に想定していたユースケースである観光・イベント・コマースでの活用が有望であることを確認できただけでなく、オンライン/オフラインをハイブリッドさせたオフィスでの活用など、さらなるユースケースについても体験者の皆様から示唆をいただくことができました。 

MESON・博報堂DYホールディングスでは、今後も AR/VR そしてセンシング技術を活用しながら、物理空間とサイバー空間が高度に融合する社会における新たなコミュニケーション体験やサービス体験についての研究を進めてまいります。

実証実験詳細

＜検証テーマ:VRシステム利用者の臨場感増幅＞
近年、実際の街のデジタルコピー(デジタルツイン)を用いて、VR空間を構築する試みが増えています。しかし、街の形状を3Dモデルで再現できたとしても、実空間は刻一刻と変化を続け、天候や時間帯によっても大きく姿を変えるため、実空間とそれを再現したサイバー空間では時が経つ程、大きく異なるものになっていってしまうのが実状です。 ARユーザーとVRユーザーの観測する環境コンテキストをできる限り揃えることで遠隔地間のコミュニケーションを実現するGIBSONのようなシステムにおいては、そのズレがコミュニケーションや没入感の阻害要因となり、VRシステム利用者がその場所(現地)にいるという感覚(臨場感)を得ることが難しくなります。

このような課題に対して我々は、RGB映像、360度映像、LiDARによる立体映像等の複数の表現フォーマットを用いて実空間のリアルタイムな状況をVR空間側に逐次配信し、そこに空間音響等の技術も組み込むことで、遠隔地から参加するVRユーザーも変化し続けている街の状況を、臨場感を持って体験できるのではないかと考えました。また、多様な映像配信技術を組み合わせて配信するため、今回の実験ではローカル5G回線を活用し、臨場感の向上への寄与を評価しました。
 
＜実施概要＞
2人組の被験者(合計 11 組)に GIBSONのシステムを用いて丸の内エリアを周遊してもらい、その後体験内容に関するアンケートとヒアリングを行いました。
丸の内エリアの現地にいる AR 側の MESON‧博報堂メンバーは、ARグラス:NrealLightを使用、引率役となり、遠隔地の屋内オフィスから Oculus Quest 2を使用してVR空間にアクセスしている被験者と共にバーチャル丸の内を歩いて周りました。二人組の被験者は、現地にいるAR側のスタッフから現地の映像配信を受け取って鑑賞したり、バーチャル空間内に配置された映像などを見ながらお互い会話するなどしてバーチャル空間の街歩きを行いました。
また体験の中で、360°動画、点群動画、2D 動画等の技術を用いて街の中の様子を伝送し、撮影対象物に観光‧イベント‧コマースに関連するものを盛り込むことで、現在想定 しているユースケースにおける体験の価値を評価しました。

＜体験の新規性、技術的な新規性＞
今回使用したアプリケーションでは、以下のような技術を体験デザインとして統合することで、 これまでのVR アプリに無い新たな体験を構築しました。

・スマートフォンを用いたVR空間への映像・点群配信
スマートフォンに搭載されたカメラの映像とLiDARセンサーを組み合わせることで、高画質なRGB映像や、点群による立体的な映像を伝送しました。GIBSONの音声配信機能と映像配信機能の組み合わせにより、離れた場所にいるVRシステム利用者にも現地の様子を伝えられる体験を構築しました。また、RGBの平面の映像に加えて、立体的な伝送手法を組み合わせることで、実空間の立体形状をVR空間に構築された3Dモデルの上に重ねて見ることが可能となり、VRシステム利用者の臨場感が高まるものと考えました。将来的にはモバイル端末上のセンサーの精度向上や搭載数の増加により、立体的なオブジェクトをより高画質で伝送することが可能になると考えています。
 
 
 


・VR 空間への 360°映像配信
360°映像配信をその映像単体として体験させるのではなく、VR 空間内の移動を序盤で経た後の体験の中盤、及び終盤に360°映像配信を鑑賞できるポータル(入り口)を用意して、そこから体験可能なものとしました。その際に、VR 空間内のポータルが設置された位置と360°映像を映すカメラの位置を一致させ、VR空間で周囲を見回すことが実際の街の景色を見回すことになるように設計することで、VRシステム利用者の臨場感が増幅されるものと考えました。
 
 

・ローカル 5G 回線の活用

12/22の実験では、リアルタイムでの360°映像の配信にローカル5G回線を使用することで、安定した品質で360°映像の配信を行いました。ローカル5G回線は三菱地所が丸の内エリアに敷設している回線を使用しました。



＜結果サマリー＞
アンケートやインタビューの分析を通して、以下のことが分かりました(n=25)

① 体験から感じた臨場感
被験者は「バーチャル・フィジカルが融合した空間の中に実際に居るように感じられた」(5.4/7 点)ことがわかりました。「丸の内仲通りに居たかのように感じた」や、「マルキューブに居たかのように感じた」のスコアも高く、GIBSONならではの空間、あるいは実際に現地に居たように感じていたことが確認できました。また、「空間の中で人や物の動きを感じることができ」(5.2点)、「空間の中で振る舞っているように感じられた」(5.1点)もスコアが高く、VRシステム利用者があたかもその場にいるかのような臨場感を体験できていたことが伺えます。
 
 
 
② 臨場感に寄与した機能
リアルタイム動画機能、リアルタイムの360°動画機能、リアルタイムの点群配信機能が特に臨場感の増幅に寄与しました。360°動画については、「現実にその空間に入った感じがしたため」「360 度リアルな画面に囲まれたから」「360 度動画は本当にその場にいるかと思うくらい臨場感をかなり感じた。その中でもリアルタイム配信が現地の様子が伝わってきた」などの意見が挙がっており、空間に入り込む感覚や空間の中に居る感覚の醸成に繋がったと考えられます。 リアルタイムの点群配信機能については、「少し回り込んだときに違って見えたから」など既存の映像配信とは異なり立体的に情報を伝送できることが価値として認識されていたことが分かりました。
 


③総括
GIBSONのコンセプトで実現されるコミュニケーション形態では、実際の現地(今回は丸の内)にいるという感覚に加え、”サイバーとフィジカルが融合した新たな空間に自分が実際に居る”という感覚をもたらすことも、今回の実証実験で分かりました。また、そうした臨場感に加えて、周囲の動的な状況変化の観測についてもスコアが高く、事前に想定していたユースケースである観光・イベント・コマースでの活用が有望であることを確認できただけでなく、オンライン/オフラインをハイブリッドさせたオフィスでの活用など、さらなるユースケースについても体験者の皆様から示唆をいただくことができました。

MESON・博報堂DYホールディングスでは、2020年より共同研究にて「GIBSON」プロジェクトを進めてきました。2021年3月には、国土交通省主導の3D都市モデル整備・オープンデータ化プロジェクトである「Project PLATEAU(*1)」の一環として渋谷区神南エリアにてAR/VR横断の街歩き体験の実験を行いました。
https://www.hakuhodody-holdings.co.jp/news/corporate/2021/03/3070.html

今後もAR/VRそしてセンシング技術を活用しながら、物理空間とサイバー空間が高度に融合する社会における新たなコミュニケーション体験やサービス体験についての研究を進めてまいります。

■実証実験パートナーの募集
MESONおよび博報堂DYホールディングスでは、今後も様々な地域・施設等を利用した実証実験を考えております。もしご興味ございましたら下記のリンク(MESONサイト)より是非ご連絡ください。
https://meson.typeform.com/to/yYdYCdJ2

(*1)Project PLATEAUについて
国土交通省が主導する、日本全国の 3D 都市モデルの整備・オープンデータ化プロジェクト。 3D都市モデルの整備とユースケースの開発、利用促進を図ることで、全体最適・市⺠参加型・機動的なまちづくりの実現を目指す。(Project PLATEAUのリンク:https://www.mlit.go.jp/plateau/)

(*2)「Marunouchi Street Park」は、2019年からスタートした、丸の内仲通りの今後のあり方や活用方法を検証する社会実験で、今回が今年度3回目の実施。初の冬季実施となる今回は、「すごそう、冬のストリート」をテーマとして、丸の内仲通りの冬の風物詩であるイルミネーションをより楽しめる空間設計、寒さを考慮した冬ならではの空間演出がなされ、インフォメーションセンターの機能を持った仮設建築物等が設置された。