メタバースでの対話を科学する──芝浦工大とDNP、産学連携で挑む次世代コミュニケーション研究

#教育 #XR #メタバース

この記事はこんな人におすすめ

XR（クロスリアリティ）やメタバースの活用や開発を検討している事業者・団体（特にスタートアップ企業など）
オンラインを活用した体験型機能/サービスの開発に関心のある事業者・団体
メタバース、AI活用などで利便性向上を実現するサービスを開発している事業者・団体
DXを推進している自治体や事業者・団体

DNPは、あらゆる年齢・性別・言語等の人々が互いに分け隔てられることなく、リアルとバーチャルの双方を行き来できる新しい体験と経済圏を創出する「XRコミュニケーション®^*1」を2021年から展開しています。メタバースを活用した教育支援や自治体の地域活性化、「メタバース役所」^*2等の行政サービス向上と窓口業務のDX（デジタルトランスフォーメーション）を支援しています。

メタバースを活用したさまざまなサービスの実証が進む中、DNPでは「ユーザーにとって使いやすいメタバース空間」の実現に向けたコミュニケーションの工夫やUI・UXデザインについて日々検討を重ねています。こうした背景のもと、DNPは2024年度、芝浦工業大学デザイン工学部との産学連携による共同研究に取り組みました。

本記事では、その共同研究の内容と今後の展望についてご紹介します！

芝浦工業大学デザイン工学部益子ゼミとの共同研究

2024年度、芝浦工業大学デザイン工学部の益子宗教授とDNPは、XR技術を活用したメタバース空間におけるコミュニケーション効果の可視化に向けた共同研究を実施しました。

益子教授は国内IT大手の研究開発部門において、「遠隔コミュニケーション」や「サイバーフィジカルインタラクション」「生体情報を用いたインタラクティブシステムの研究」などを研究テーマに、身体性の伴う体験とバーチャルをつなぐ取り組み中心に多数手掛けられ、2023年より芝浦工業大学デザイン工学部にて教鞭をとられています。
芝浦工業大学デザイン工学部益子研究室では、メタバースやデジタルサイネージ、VRなどを活用した場合のユーザーの認知や印象の検証などを中心に、「フィジカルとデジタルの境界をあわくするデザイン」をテーマに掲げ、研究を行っています。

芝浦工業大学デザイン工学部益子研究室：https://masuko-lab.jp/

こうした実績と研究テーマを持つ益子研究室と、「リアルとバーチャルの双方を行き来できる新しい体験と経済圏を創出する」ことを目指すDNPが連携し、アカデミアとビジネスの知見を融合することで、仮想空間におけるコミュニケーションの“質”を高め、社会実装につなげることを目指しています。

一例として、DNPが展開する「メタバース役所」での自治体支援や「3Dメタバース空間を活用したラーニングシステム^*3」での教育支援といった社会実装の進む事業の更なるサービスの品質向上や、他事業への展開可能性も視野に入れています。

研究の観点

今回の研究は、次のような観点を重視して実施されました。

バーチャル空間でのサービスやイベントの効果測定の際に、来場者数や滞在時間のような従来の指標に加え、アバターを通じたコミュニケーションの質を定量的に評価する新たな視点を確立すること
調査研究によって得られたデータをもとに、DNPのメタバース関連サービスの信頼性や説得力を高め、より具体的で実効性のあるサービス設計につなげること

共同研究を通じて、これまでよりも使いやすく、没入して楽しむことのできるUI・UXを兼ね備えた「メタバース」活用のスマートサービスが提供される未来を目指していきます。

下記では、2024年度に取り組んだ研究テーマについて研究の内容と成果をご紹介します！

研究テーマ①：メタバースイベントにおける定量的評価指標の検討イベントの“熱量”をどう測るか──定量評価指標の検討

メタバースイベントの価値は、来場者数やログイン回数などの数字だけでは測ることができません。より本質的な価値を評価するには、参加者の関心度や没入感、心理的な変化に着目する必要があります。

この研究では、アバターの移動（滞在時間、移動情報等）に加え、視線の動きといったライフログを組み合わせることで、イベント参加者の「没入度」や「興味関心」を数値化する手法を検討しました。この結果から、空間設計やコンテンツ配置といったイベントの設計に活かせる示唆を得ることができました。

この手法は、NICOGRAPH International 2025 にてポスター発表を実施する予定です（2025年6月19-21日）。

研究テーマ②：メタバース空間での対話促進に向けた視覚的要素の影響調査アバターの視線が空気を変える──対話促進に向けた視覚的要素の研究

この研究では、メタバース空間での対話のしやすさが、ユーザーの視点の違いや、対話相手のアバターの振る舞いによって変わる傾向がみられることがわかりました。

まずユーザーの視点に関する検証では、ユーザーのアバターが１人称/３人称のどちらの視点がコミュニケーションに良い影響を与えるかを比較しました。

調査した結果、1人称視点のアバターのほうが相手を注視する時間がより長くなり、対話する相手に対してあたたかさ、協調性といった好印象を持ちやすいということがわかりました。

1人称視点：視界の範囲が対象近辺に狭まることで視線が絞られ、注視する時間が長くなる傾向にある

また、相手の振る舞いについての検証では、対話中に相手のアバターの視線が常に正面を向いている（凝視している）状態と、視線が少しずれる（凝視していない）状態を比較しました。その結果、相手のアバターの視線がわずかにずれることでより自然な印象で親しみやすい印象を与えることがわかりました。

対話中に相手のアバターの視線が常に正面を向いている（凝視している）状態［画像上段］と、視線が少しずれる（凝視していない）状態［画像下段］の比較

こうした視覚的要素は、メタバース空間での対話や相談といったコミュニケーション設計に重要な要素であるといえます。

本研究成果は、DNPのメタバース標準機能に活用する方向で検討を進めており、今後のメタバース空間の利便性・操作性の向上に寄与する研究となりました。

研究テーマ③：メタバース環境における視線と音声制御を用いた話者選択手法の検討バーチャル空間での複数人による対話──視線×音声制御による話者選択

バーチャル空間でのコミュニケーションの特徴の一つに、複数人で会話できる点があります。しかし、バーチャル空間で音声会話を行うと同時発信による音声の混在により、発話者の音声が聞き取りにくく、どのアバターが自分に話しかけているのかがわかりにくくなったり、不要な会話音声が聞こえてしまったりというコミュニケーションの課題があります。

これに対して、ユーザーの視線方向に応じて音声のボリュームを調整する仕組みを検証しました。ユーザーが話したい相手を注視することで、その相手の声が自動的に強調される仕組みです。さらに、バーチャル空間でも現実の世界のように周囲の環境音や喧噪音が聞こえるほうが、無音の空間よりも話しやすくなるといった傾向も見られました。

そこで、周囲の会話の音量が一定量聞こえる環境で、ユーザーが会話したい相手に注視することでその相手との会話音量が大きくなるという制御をすることにより、複数人の中でもスムーズに会話ができ、ユーザーにとって自然な対話体験を提供できることが示されました。
この手法はINTERACTION2025^*4にてポスター発表を実施しました。

2024年の研究活動を振り返って

本取り組みについて、2024年度を通して益子研究室と共に活動したDNPの外山祥平さんから、2024年の活動を振り返りと展望についてコメントをいただきました。

2024年の研究活動を振り返ると、学術的な観点からDNPが目指すXRコミュニケーション事業の強みを深く検討することができました。特に、学生との共同研究を進める中で、メタバースの活用について具体的に考える貴重な機会がありました。このような取り組みを通じて基礎研究を進めることができ、DNPの今後の強みを育てるための土台を築けたと感じています。

今後は、研究活動をもとに、より明確な強みを形成し、機能開発につなげていきたいと考えています。この挑戦を通じて、DNPならではの独自の価値を創出し、社会に貢献できる成果を実現することを目指していきます。
（コンテンツ・ＸＲコミュニケーション本部ＸＲコミュニケーション事業開発ユニットサービス開発部第２グループ　外山祥平）