行動観測技術の研究は大きく2つの技術開発からなる。第一は従業員の行動計測技術である。昨年度（平成21年度）までの研究で開発してきたPDR（Pedestrian Dead Reckoning：歩行者慣性航法）とサービス現場モデリングに基づくSDF（Sensor-Data Fusion）測位によって得られる位置データをベースとし、音声データや業務データなどを参照しながら、作業動作や作業内容を推定し行動の意味を付加する行動アノテーション技術を開発する。特に今年度は、従業員に装着するセンサデータ、地図データ等を統合し、歩く、座るなどの作業動作を5種類以上、90％以上の確率で認識するシステム（PDRplus）を構築する。これに、音声データ、業務データなどを追加して統合分析することで挨拶、注文など現場のニーズに応じた10種以上の作業内容を90％以上の確率で推定することを目標に設定した。計測に関する被験者の負担を自己技術に対する現状比で10％以上低減するとともに１ヶ月以上の継続計測を実現する。さらに、位置データと意味付けされた作業動作や内容を可視化することで、従業員のサービス品質管理活動（QCサークル活動）に役立てられるかどうかを検証するとともに、その活動コストを30％以上低減することを3年間の目標に据えた。
第二は、この従業員の行動計測技術を、初期仮説策定のための回顧型デプスインタビュー技術（CCE：Cognitive Chrono-Ethnography）と組み合わせることで、CCEによる調査方法の工数を削減するための研究である。CCEは、（１）のプロ野球観戦や地域観光の顧客モデル仮説構築のために開発してきた技術である。この技術を広く展開するために手法のガイドラインと適用ノウハウを書籍として整備し、普及活動を行うことを目標に据えた。CCEを、従業員スキルの理解に適用するとともに、従業員の行動観測手段を従来のビデオカメラからPDRセンサに変更し、より簡便に行動記録の再生とインタビューを実現するCCE Liteを開発し、その工数低減効果を検証する。この観測技術を適用したCCE Liteについては、その調査工数を現状比で50％以上低減することを目標に設定した。

環境側に設置するRFIDタグ、身体側に装着するPDRセンサ、環境の写真から構成した３次元地図から、センサを装着した人の位置データを時々刻々取得するSDF測位を先行する研究において開発してきた。平成22年度ではPDRセンサの改良を進め、36％の軽量化、体積比で24％の小型化、12時間以上の連続動作を実現した。センサを装着する従業員を対象にしたアンケート（昨年度35名、今年度27名）でも昨年度より計測負担を27％軽減することができた。

PDRが有するセンサ座標系のスタビライズ機能及び現場のエリア毎に起こり得る動作種別の絞込み、さらに動作認識精度向上により移動を伴う動作かどうかのより正確な認識に基づいて、測位精度と動作認識精度の向上を相補的に実現する測位及び動作認識技術PDRplusを開発した。実際の計測データに対して、手作業で従業員の5つの代表的な動作（歩く、立位での活発な動作、立位での安定した動作、上下動、止まる）の識別結果の正解データを与え（開始時刻、終了時刻、動作種別を639個与えた）、Boostingという機械学習を用いて計測データと正解データを関連づける教師あり学習を行った。この機械学習によって得られた識別器を用いた交差検定によりその正解率を評価した結果、5動作すべてにおいて3位正解率が90％を越えた。2位正解率も5種動作平均で85％となった。この測位データ、動作認識データに加え、骨伝導イヤホンマイクで得られた音声情報（図９）のキーワード認識結果、従業員用ハンディ端末情報、業務スケジュールなどのデータを組み合わせ、従業員の作業内容を推定する技術を開発した。認識すべき作業内容は、連携先であるがんこフードサービスのニーズ調査から、調理４作業（移動運搬、調理、皿を洗うなど）、接客８作業（移動運搬、挨拶案内、注文伺い、配膳など）を選択した。開発した推定技術は、まず、センサを装着した従業員の役割や業務スケジュール、POSデータという信頼性の高いデータによって作業内容の絞り込みを行う。絞り込まれた作業内容候補のうちどの作業であるかは、測位、動作、発話キーワード、発話量という不確かさを持った計測データ群に対してｋ近傍法とよばれる統計的識別法を用いて実現した。行動計測導入支援ツールによって手作業で作成された作業内容の正解データ180個を用いた交差検定により精度を検証した結果、選択した12種類の作業内容のうち10種類の作業内容について、推定された作業内容の第2位候補までの正解率が90％を越えた。

PDRによって得られた動線データなどを従業員に対して可視化提示し、QCサークル活動に役立てられるかどうかの検証を実施した。連携先であるがんこフードサービスの経営陣3名、現場担当者3名に観測データを可視化提示した（図１０）。この結果、繁忙時間であるにもかかわらず接客動線が奥の事務室まで至っており、無駄が多いことが明らかになった。これは予約手続きのために事務室にある帳簿を確認しに行くことによるものであることが現場担当者から説明があり、今後の改善が議論された。これらを通じ、従業員作業の効率化のために、動線データ可視化が有益であることが確認できた。

回顧型デプスインタビュー技術CCEでは、インタビュー対象者の行動を記録しそれを整理してから対象者に提示して、事実に基づいて歪曲のない長期記憶の発掘を行うところが技術のポイントとなっている。従来は、インタビュー対象者の行動記録と整理、提示にはビデオカメラ、手書きのダイアリーメモなどを活用してきたが、データの収集、整理に要する工数が大きく、技術の普及の障壁であった。ここに、PDRを援用し、対象者の行動を仮想空間上でCG提示し、それに基づいて回顧型デプスインタビューを実施した。城崎温泉の従業員8名を対象に1日もしくは2日間の行動観測を実施し、それをCG提示しながら、各自3回のインタビューを実施した。インタビューの結果、実際のビデオ画像ではないCG再現映像でも、インタビューイーである従業員は行動現場を想起し、十分に有用な回顧型デプスインタビューを行うことができた。従業員の位置データから、あらかじめ顧客接点場面のデータだけを抜き出してCG映像を抽出できるため、実写ビデオ画像にくらべ映像確認、編集コストが大幅に低減できることが分かった。行動観測の装置導入コスト（100万円程度）を考慮しても、既存のタイムスタディのコスト（2日間、調査員3名で300万円程度）に比べて50％以上の低減が実現できた。