画像や慣性センサなどを用いてユーザや環境をセンシングする技術と、ウェアラブル拡張現実インタフェースやタンジブルインタフェースとを融合することにより、人とコンピュータ、人と人との直感的で円滑な対話を実現し、デジタルデバイド、熟練指示者不足、安全管理などの諸問題を解消することを研究目標としています。

人間同士の社会的関係と、センサから得られた人の位置情報を利用し、利用者に合わせた情報支援を行うアーキテクチャおよび具体的なサービスを研究します。Web支援システムと会場におけるシステムとの情報共有を行う手法をさらに研究し、コミュニティの活動を支援する会場支援システムを実現します。知的コンテンツグループ松尾研究員、国立情報学研究所武田教授ら産学官の関係機関と協力して進めます。

ユーザの状況に適した支援を実現するためには、ユーザの絶対位置よりもオブジェクト（ユーザ、展示物、ロボット等）間の相対位置や向き関係が重要です。このために、アルファシステムズ（株）との共同研究により多数のオブジェクトが比較的密に存在する場合に、簡易な環境システムと新型端末を用いることでオブジェクトの位置関係、向き関係を推定する手法を研究開発します。