生産性の持続的向上と人の負担軽減を両立するデジタルツイン

日本は世界の中で最も急速に少子高齢化が進む国の一つとされており、総務省情報通信白書「我が国の労働力人口における課題」によると、今後長期にわたり生産年齢人口の減少が継続する見通しである。生産現場では、若年労働者や熟練労働者の確保がますます困難になる一方、あらゆる作業を完全に自動化することも課題が多く、実現には至っていない。作業経験の乏しい方や障がいのある方など、多様な人々の就労により生産性を持続していく社会の到来が予想される。多様性を包摂しつつ、どのように生産性を持続的に向上していくかが課題である。そのため、新たな就労モデルの提唱が求められている。本研究では、生産性の持続的向上と人の負担軽減を両立する デジタルツイン を、産総研デジタルヒューマン研究チームとの連携で開発した。開発したデジタルツインは、現実世界で人とロボットが同じ環境で作業をする状態を観測し、作業者の全身の動きや身体負荷、人とロボットの安全状態を仮想空間でリアルタイムに分析する。このデジタルツインを活用した サイバーフィジカルシステム では、作業者それぞれのスキルや身体的な違いを考慮しながら、ロボットが作業負担を代替して人をサポートする。逆にロボットが苦手とする器用さが求められる作業を人がサポートすることで、人とロボットの相互扶助により、生産性の持続的向上と人の負担軽減の両方が期待できる作業環境の構築を目指した。製品組み立て工場の部品供給という実際の作業を通して、トヨタ自動車（株）と共に実証試験を行った。人とロボットが環境を共有して自動車部品の取り出し作業を行う中で、ロボットが作業者の負担になる作業を優先的に代行しながら、手分けして作業を進めた結果、生産性（同じ作業者が作業完了に要する時間）を10～15％向上させ、人の負担（作業姿勢により腰と肩にかかる関節トルクの推定量）を約10％軽減することに成功した。

[1] Maruyama, T.; Ueshiba, T.; Tada, M.; Toda, H.; Endo, Y.; Domae, Y.; Nakabo, Y.; Mori, T.; Suita, K. Digital Twin-Driven Human Robot Collaboration Using a Digital Human. Sensors 2021, 21, 8266. doi.org/10.3390/s21248266

近年、若年層や熟練労働者の確保が難しくなっている一方で、多くの製造工程を完全自動化するための技術的な課題も多くある。そこで、本研究では、人間とロボットの協調の組立作業に着目し、ロボットが作業者の状況に応じて適切な支援を行えるような人・ロボット協調システムの構築を目指す。そのためには、ロボットが人間の作業内容を把握する必要がある。 本研究では、きめ細かな手の動きから組立動作を解析するための新しいソフトウェアアーキテクチャを提案する。本研究では、従来からあるアドホックデバイスやビジュアルマーカーを身体に装着するアプローチとは異なり、ユーザが負担を感じることなく動作することを可能にする。開発したモジュールの機能は以下の通りです。(1)マルチカメラを用いた身体と手の3次元動作の復元、(2)人間が操作する物体の認識、(3)人間の動作と操作される物体との関連性の解析が可能である。我々は、OpenPoseとMediapipeをベースとした、身体と手のキーポイント検出のための様々なソリューションを実装している。また，検出された人物の動きと操作対象物の関係を解析するために，Long Short-Term Memory (LSTM) ディープニューラルネットワークを用いた新しい手法を提案する．実験的検証により、隠れマルコフモデル(HMM)に基づく先行研究に対して、提案手法の優位性を示す。

[1] K. Fukuda, I. G. Ramirez-Alpizar, N. Yamanobe, D. Petit, K. Nagata, and K. Harada. Recognition of Assembly Tasks Based on the Actions Associated to the Manipulated Objects. In 2019 IEEE/SICE International Symposium on System Integration (SII), pp. 193–198, Paris, France, 2019.
[2] K. Fukuda, N. Yamanobe, I. G. Ramirez-Alpizar, and K. Harada. Assembly Motion Recognition Framework Using Only Images. In 2020 IEEE/SICE International Symposium on System Integration (SII), pp. 1242–1247, Honolulu, Hawaii, USA, 2020.
[3] E. Coronado, K. Fukuda, I. G. Ramirez-Alpizar, N. Yamanobe, G. Venture, and K. Harada. Assembly Action Understanding from Fine-Grained Hand Motions, a Multi-camera and Deep Learning Approach. In IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 2605–2611, Prague, Czech Republic, 2021.

現実では得難いクロスモーダルな感覚の獲得と作業応用

人間は自らの経験に基づき、視覚等のモダリティから直接の計測が困難な情報に関する推論を行うことで高度なマニピュレーションを実現している。例えば、ある物体を見るとその物体の硬さを想起できる。また、物体が積み重なったシーンを見ると個々の物体に働く力を大まかにイメージすることができる。このようなクロスモーダルな推論を行う能力をロボットに与えることができれば、より高度な作業が可能となる。ここで重要となるのがシミュレーションの活用である。シミュレーションでは実世界では得られない情報を他のモダリティと合わせて生成することが可能である。このように、現実では得難い経験に基づき機械知能を拡張する方法論を、我々は経験拡張と呼んでいる。我々の研究チームでは、この経験拡張を用いてクロスモーダルな推論を行うモデルを学習させ、学習したモデルを実環境に適用できるよう汎化させることで、高度な物体操作に繋げることを目指している。具体的な成果として、視覚からシーン中の物体の剛性を推定することで、物体の変形が小さいピッキング操作や、変形を積極的に利用したピッキング操作を実現した。また、バラ積み状態の物体に働く力を推定することで周囲の物体に大きな力を加えないようにピッキングを行う研究にも取り組んでいる。 （詳細はこちら）

[1] 牧原昂志, 堂前幸康, Ixchel G. Ramirez-Alpizar, 植芝俊夫, ''pix2stiffnessによる柔軟物体の把持位置検出,'' SSII2021(online), June, 2021.
[2] 牧原昂志, 堂前幸康, 片岡裕雄, Ixchel G. Ramirez-Alpizar, 原田研介, ''アピアランスからの物体柔軟性推定に基づく把持位置検出,'' SICE SI2021(online), Dec., 2021.
[3] Koshi Makihara, Yukiyasu Domae, Ixchel G. Ramirez-Alpizar, Toshio Ueshiba and Kensuke Harada, ''Grasp pose detection for deformable daily items by pix2stiffness estimation,'' Advanced Robotics, 36:12, 600-610, 2022.
[4] Ryo Hanai, Yukiyasu Domae, Ixchel G. Ramirez-Alpizar, Bruno Leme and Tetsuya Ogata. ''Force Map: Learning to Predict Contact Force Distribution from Vision.'' , In 2023 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Detroit, US, 2023.

実機を使わずにシミュレーションだけで部品供給や組み付け作業を学習

近年の深層学習の発達によりロボットは様々な作業を実現できるようになった。課題は学習コストにあり数時間から数百時間規模の実機訓練を必要とするが、ロボットや周辺環境の破損・摩耗の問題や、エラー回避のために人間がつきっきりでいる必要があるなどの問題があった。そこで我々の研究チームでは大阪大学原田研究室と連携して、シミュレーションによる仮想世界での学習と実世界へのゼロショット転移（追加学習なしでの作業実現）による高難易度作業の実現に取り組んでいる。工場や物流現場などにおける部品・商品の供給においてよく現れる絡みやすい物体の操作は難しい課題であった。シミュレーション上で大量に生成したデータより、様々な部品をどのように操作すると絡むか・絡まないかを試行錯誤しロボットの深層学習モデルを訓練することで、実世界での追加学習なしに工場組立部品のピッキング操作を実現した。同じようにコネクタなどの部品挿入であるペグインホール問題の解決には、従来多くの実機訓練が必要であった。この問題に対してもシミュレーションで生成したデータによる試行錯誤で深層強化学習モデルを訓練することにより、実世界での組み付け作業を実現した。従来は人が数日間つきっきりであった訓練が、シミュレーションを数時間放置すれば実現できるようになり、イニシャルコストを大きく下げることに成功した。

[1] R. Matsumura, Y. Domae, W. Wan and K. Harada, ''Learning Based Robotic Bin-picking for Potentially Tangled Objects,'' 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Macau, China, 2019, pp. 7990-7997, doi: 10.1109/IROS40897.2019.8968295.
[2] C. C. Beltran-Hernandez, D. Petit, I. G. Ramirez-Alpizar, T. Nishi, S. Kikuchi, T. Matsubara, and K. Harada. ''Learning Force Control for Contact-rich Manipulation Tasks with Rigid Position-controlled Robots.'' IEEE Robotics and Automation Letters (with IROS option), 5(4):5709–5716, Oct. 2020.
[3] C. C. Beltran-Hernandez, D. Petit, I. G. Ramirez-Alpizar, and K. Harada. ''Variable Compliance Control for Robotic Peg-in-Hole Assembly: A Deep Reinforcement Learning Approach.'' Applied Sciences, 10(19):6923, Oct. 2020.
[4] C. C. Beltran-Hernandez, D. Petit, I. G. Ramirez-Alpizar, and K. Harada. ''Accelerating Robot Learning of Contact-Rich Manipulations: A Curriculum Learning Study.'' arXiv preprint arXiv:2204.12844, 2022.