ポイント
- 加工、組み立てなどの製造現場で活用できる高精度な位置姿勢計測マーカーを開発
- 測定は自作可能な単純形状マーカーを専用カメラ1台で撮影するだけ、簡易、低コスト
- 工作機械などの座標系上での加工物、治具、工具、ロボットなどの位置姿勢を簡易、高速に設定
概要
国立研究開発法人 産業技術総合研究所（以下「産総研」という）製造技術研究部門 積層加工システム研究グループ 松本 光崇 研究グループ長、栗田 恒雄 主任研究員は、製造現場における加工物などの位置姿勢測定のための新たな測定デバイス、3DSマーカーシステムを開発した。このシステムは、従来と比べて、位置精度3 µm、姿勢精度0.02°と高精度に位置姿勢の測定が可能で、工場に導入しやすく、低コスト、簡便、堅牢性などを有する。
このシステムでは、三次元で既知の段差を持った任意形状のマーカーを用いて、上面のエッジと照明がつくる影をカメラで撮影することでマーカーの位置姿勢を測定する。AR技術で用いられる従来のARマーカーは主に白黒の正方形であるため、カメラとマーカーが正対した際に垂直方向で精度低下が起こる。一方、本マーカーは正対していてもマーカーの平面方向と同等の精度で垂直な方向の距離を測定することができる。また、位置姿勢の測定に影を用いているため、測定はマーカー材料の表面粗さ、色彩などの影響を受けにくいといった特長がある。
本マーカーシステムを用いると、工作機械やロボットなどの製造装置、搬送装置の座標系へ、加工物、治具、工具、エンドエフェクタなどの位置姿勢を簡易、高速に設定できる。本システムは、変種変量生産システムなどにおいて、搬送や加工物の位置決め工程の自動化に貢献する（下図）。
なお、本成果の詳細は、2022年6月17日にCIRP Journal of Manufacturing Science and Technologyでオンライン公開された。
3DSマーカーシステムの活用イメージ
開発の社会的背景
製造業の工場などでは、多数・多品種の仕掛品、完成品などの部品が、ストックヤード、搬送装置、トレー、製造装置など、さまざまな場所に存在する。変種変量生産への対応や省人化へ向けて、工場の自動化を推進するためには、これら部品の位置姿勢や工程進捗状況を逐次把握し、受注状況や装置の稼働状況に応じて高速な搬送が求められる。
現在は、自動搬送ロボットが、部品やトレーに貼付されたARマーカーを読み取って部品の位置を認識している。また、工場内の基準位置に設置されたマーカーによって、ロボット自身が場所を認識することで自由度の高い搬送を実施している例がある。
一方、製造現場では部品をピッキングして、工作機械上に高精度にプレーシング、固定したり、あるいは部品の向きを変えて固定し直したりするための段取り工程が存在する。この工程は、部品の品質に直結する重要な工程であるため、主に熟練技能者によって行われている。搬送工程とともに段取り工程を目視や勘に頼らないように自動化できれば、変種変量生産を高能率に安定稼働させることができる次世代工場の基盤技術となりうる。
しかし、医療、自動車、航空機などの基幹部品では0.01 mm以下の加工精度が求められるため段取り工程ではそれと同等以上の精度が求められる。従来のARマーカーで得られる位置精度は1 mm程度であるため、従来技術と比較して、10倍から100倍以上の高精度が必要である。また、工場に導入しやすい低コスト、簡便、堅牢性などの特徴を持つことが望まれるため、従来にない位置姿勢の測定技術およびデバイスの開発が求められる。
研究の経緯
マーカー型ARは、特定のパターンを持ったマーカーを利用して、現実にある物や現実世界そのものを空間的に認識することで、提示位置を特定して付加情報を端末の画面などに表示させる。カメラとマーカーのみで情報を表示可能であるメリットを生かし、メディア、広告、マーケティングなどに積極的に活用されている。産総研では、製造業における部品の加工や組み立てなどに応用可能な高精度位置姿勢測定マーカーの研究開発を行ってきた。
ARマーカーの製造業への応用には、さまざまな課題が存在する。工作機械などの製造装置や医療、自動車、航空機の基幹部で用いられる部品加工技術へ応用するには、位置姿勢測定に高い精度が求められる。また、製造現場では、加工くずや加工液などの接触により、マーカーが汚染される可能性があるため、マーカーには耐性が必要となる。さらに、汚染の洗浄時や工具との接触などにより、マーカーが破壊する可能性がある。これらを避けるために、従来用いられている紙や樹脂製マーカーの貼付に対して、測定対象に直接マーカーを描画、加工することが考えられる。その場合、測定対象の材料、色彩、表面形状に応じて、測定条件が異なってしまう。以上の問題を解決するため、新しい測定原理を持つARマーカーシステムを検討した。
従来のARマーカーが持つ産業応用への課題の一つに、マーカーがカメラと正対した場合、特にマーカー平面に対して垂直な方向の位置精度が低下し、正確な位置姿勢が測定できないことが挙げられる。カメラ画像により、マーカー平面に対して平行な方向の位置検出精度を向上させるためには、カメラ視野全体でマーカーを撮影することが望ましい。しかし、このときカメラとマーカーは正対することとなり、従来のARマーカーの測定原理では、垂直方向の位置決定の精度低下に関する問題点を解決できないという課題があった。
研究の内容
産総研は、三次元形状により、上面のエッジと照明がつくる影をカメラで撮影し、マーカーの位置姿勢を検出する測定原理を提案した。
図1に新規マーカーシステムの測定原理を示す。カメラとの相対位置が固定された照明をマーカー上面に対して斜めに入射させると、上面のエッジが影として下面上に投影される。下面上の影の長さは、Z方向の照明の位置変化に伴い変化する。影の長さを精度良く測定することで、カメラとマーカーが正対していてもXY方向と同等の精度でZ方向の距離を測定することができる。また、マーカーが傾いたとしてもカメラと照明の相対位置、マーカーの高さ、および影の長さから、Z方向の距離とマーカーの傾きを分離することができる。その結果、従来のARマーカーの問題であったマーカーとカメラ正対時の姿勢精度だけでなく、それに伴う位置精度の低下も克服できる。さらに、影の測定は、マーカー材料の表面粗さ、色彩などの影響を受けにくい。照明とマーカーがつくる影を活用した立体形状マーカーであることから、本マーカーを3-Dimensional shape using Shadow (3DS)マーカーと呼ぶ。
図1 3DSマーカーシステムの測定原理
図2に試作した3DSマーカーシステムを示す。同システムはマーカー撮影用3DSマーカーセンサー(図2左)と、撮影対象である3DSマーカー（図2右）で構成される。3DSマーカーセンサーは中心にCMOSカメラとレンズ、およびそれらを囲む照明からできている。カメラが撮影するのは、3DSマーカーに投影される影の位置および形状であり、これらは照明の点灯位置で変化する。図2右は左下に設置された照明を点灯させて撮影した。照明に単波長のLEDを使用することで回折の影響を軽減でき、影の境界にぼやけが少ない撮影が可能である。アルミニウムに縦横10 mm、深さ8 mmの直方体穴を放電加工して3DSマーカーを作製した。穴の縦横辺の長さや深さ、加工の手法は自由に設定可能である。
図3にX(左右)方向およびZ（奥行き）方向移動に伴うマーカー像の変化を示す。X方向の移動ではマーカーならびに影の位置と形状、Z方向ではそれらに加えマーカーの見かけの大きさが変化する。これらの画像の中から特徴点を抽出し、マーカーのX・Y・Z位置および姿勢(ロール、ピッチ、ヨー)の6軸を一回の測定で同時に導出する。図4に6軸の一つであるZ方向移動に伴う3DSマーカーの測定値と汎用センサーとしての市販のレーザー変位計による測長結果との関係を示す。これらは、ほぼ同じ値を示した。表1に3DSマーカーによる位置姿勢の測定の繰り返し精度を示す。繰り返し精度は3DSマーカーの位置をX方向およびZ方向に0.5 mm間隔で各5 mm変化させ、測定を合計110回行い、各位置姿勢の測定値の標準偏差とした。3DSマーカーの位置精度は約3 µm、姿勢精度は約0.02°であった。
図2 試作した3DSマーカーシステム
図3 移動に伴うマーカー像の変化
図4 Z方向移動に伴う3DSマーカーの測定値と汎用センサーの測定値の関係
表1 3DSマーカーの繰り返し精度
3DSマーカーセンサーは工作機械、ロボットなどの装置へ設置することを想定している。装置の座標系上で3DSマーカーセンサーが設置されている位置姿勢をあらかじめ校正する。その後、3DSマーカーシステムによる測定で、加工物が装置の座標系に対してどのような位置姿勢で設置されているかを把握できる。また、複数の装置に3DSマーカーセンサーを設置して校正を行い、システム同士で測定結果を共有すれば、異なる装置間であっても加工物の位置姿勢を共有することができる。
今後の予定
適切なカメラ、カメラ用光学系、画像処理法、マーカー形状などを測定環境に応じて検討することで、本マーカーはさらなる機能や精度の向上が期待できる。今後はそれらと並行して、産総研 臨海副都心センターの「つながる工場」にて、3DSマーカーを使って加工物の工作機械間を自由に行き来する搬送、加工物設置の自動化（段取り自動化）の実証を行う。また、物流や製造などに関わる施設では、高精度な自動搬送を安価なシステムで運用させるニーズがあるため、これら施設で使われる自動搬送機器、ロボットなどへ3DSマーカーを提供してゆく。
表2に3DSマーカーと既存マーカーの機能比較を示す。3DSマーカーは高精度、狭作動範囲である。従来マーカーは低精度、広作動範囲である。両者を併用することで、広い作動範囲を確保しつつ高精度の位置姿勢の測定を実現する。
表2 3DSマーカーと従来ARマーカーの比較
論文情報
掲載誌：CIRP Journal of Manufacturing Science and Technology
論文タイトル：Development of a vision-based high precision position and orientation measurement system to facilitate automation of workpiece installation in machine tools
著者：Tsuneo Kurita, Nagayoshi Kasashima, and Mitsutaka Matsumoto
用語の説明
- 3DSマーカー
- 産総研が独自に開発した影を用いた立体マーカーで、3-Dimensional shape using Shadowマーカーの略。3DSマーカーを専用の3DSマーカーセンサーで撮像することにより、マーカーの位置姿勢の高精度な測定が可能。[参照元へ戻る]
- AR
- Augmented Realityの略。「拡張現実」の意味。 現実世界からの情報を基に、デジタル合成などによって作られたバーチャルの情報を重ねて端末の画面などに表示し、人間の現実認識を強化して拡張する技術。[参照元へ戻る]
- ARマーカー
- 静止画、動画、CGなどのコンテンツを表示させるための印。主に白黒の正方形が用いられる。カメラで正方形を撮影することで、正方形を基準とした任意の位置にコンテンツを表示することができる。[参照元へ戻る]
- エンドエフェクタ
- 産業用ロボットなどのアームの端に取り付けられる機器。用途に応じて、真空状態をつくって物を吸着させる機器や手先のような機器に交換することで、物体の把持や搬送などを行う。[参照元へ戻る]
- 仕掛品
- 製造業などにおいて、製造工程の途中にあって完成していない物品。WIP(Work in progress)とも呼ばれる。[参照元へ戻る]
- ピッキング
- 生産ラインで使用する部品を指示に基づいて集めるなどの工程において、部品を把持、ピックアップする作業・工程。[参照元へ戻る]
- プレーシング
- 生産ラインで使用する部品を指示に基づいて集めるなどの工程において、把持した部品を指定の位置に置く作業・工程。[参照元へ戻る]
- 放電加工
- 電極と加工対象物との間に、短い周期で繰り返すアーク放電を起こさせ、加工対象物の表面を除去する加工法。従来の機械加工技術では加工できなかった材料や形状に適用されることが多い。EDM (Electro Discharge Machining)とも呼ばれる。[参照元へ戻る]
- ロール、ピッチ、ヨー
- X・Y・Zの直交座標系において、各軸を中心に回転させることをロール、ピッチ、ヨーと呼ぶ。またその時の回転角度をロール角、ピッチ角、ヨー角と呼ぶ。[参照元へ戻る]
