1 背景と目的

組織や企業内において,インフォーマルな場面におけるコミュニケーションは,情報共有の面でとても重要な役割を担っています.しかし,面識のない人同士がコミュニケーションを図ることは,会話の糸口がつかみづらいことから,困難であると言われています.

そこで,本研究では,AR(Augmented Reality)システムを用いて,インフォーマルな場面におけるコミュニケーション(例えば,道端やカフェテリアでの会話等)を可視化し,コミュニケーションの活発化を目指しています.

2 Augmented Reality:拡張現実感

図1はAugmented Reality(拡張現実感)の研究領域を示したものです.拡張現実感とは,カメラから取り込んだ現実の映像に,コンピュータ上で作成したCGなどの映像を重ね合わせて表示する技術のことです.

我々は,ARToolKit[2]と呼ばれる拡張現実感を実現するためのシステムを用いて,会話の内容を可視化しています.



研究の位置づけ
図1. 研究の位置づけ[1]

3 システムの解説

本システムは,インフォーマルな場面におけるコミュニケーションを可視化,コミュニケーションの活発化を図ることを目指しています.

本システムは,以下の動作手順で会話の内容を共有しています.

(1) 音声認識による会話の抽出・変換

会話の内容はマイクを利用して抽出します.取得された音声データは,音声認識ソフトJuliusを介して,テキストデータに変換されます.

(2) 共有

テキストデータに変換された会話の内容は,発話者の位置情報および発話時の方角情報などの情報と関連づけられます.その後,インターネットを介して,周辺のシステム利用者に送信・共有されます.

テキストデータと関連づけられる情報は,GPSや電子コンパス,3軸加速度センサなどを用いて取得しています.

(3) 可視化

共有されたデータは,各システム利用者の小型PC上で処理されます.テキストデータは,ARシステムを利用して,位置情報などをもとにカメラから取得した実世界の映像上に重ね合わせます.最後に,システム利用者のHMD上に映像を表示し,会話の内容が見ることができるようになります.



システムイメージ システムイメージ
図2. 実行画面 図3. 閉鎖空間内の情報発信


今後は,広域空間を対象にして会話の内容を共有できるよう,システムを改良していくことを検討しています.

参考文献

  1. Paul Milgram and Fumio Kishino, A taxonomy of mixed reality visual displays, pp.1321-1329, IEICE Trans, 1994.
  2. H. Kato and M. Billinghurst, Marker Tracking and HMD Calibration for a Video-based Augmented Reality Conferencing System, pp.85–94, IWAR'99, 1999.
  3. Aaron Stafford, Wayne Piekarski, and Bruce H. Thomas, Implementation of God-like Interaction Techniques for Supporting Collaboration Between Outdoor AR and Indoor Tabletop Users, pp.165-172, ISMAR'06, 2006.

連絡先

研究紹介のページに戻る