Chihiro Yukawa

Kyohei Toyoshima

Tetsuya Oda

Yuki Nagai

オダ テツヤ

トヨシマ キョウヘイ

ナガイ ユウキ

ユカワ チヒロ

小田 哲也

湯川 千尋

豊島 恭平

長井 祐樹

湯川, 千尋

ユカワ, チヒロ

Yukawa, Chihiro

小田, 哲也

オダ, テツヤ

Oda, Tetsuya

豊島, 恭平

トヨシマ, キョウヘイ

Toyoshima, Kyohei

長井, 祐樹

ナガイ, ユウキ

Nagai, Yuki

AROUS Academic Repository of Okayama University of Science / 岡山理科大学学術リポジトリ

微細凹凸を認識するためのロボットビジョンシステムの開発湯川  千尋・小田  哲也 ＊・豊島  恭平・長井  祐樹岡 山 理 科 大 学 大 学 院 工 学 研 究 科 情 報 工 学 科*岡 山 理 科 大 学 工 学 部 情 報 工 学 科１．はじめに 製造業では，Industry 4.0 により，生産工程の効率化・高速化を目的としたセンサモジュールや AI を用いた自動化が進められている．そのため，一手法として，機械による任意の対象表面の微細凹凸の測定が検討されている．しかし，微細凹凸表面の測定には多くの時間を要し，計測機械の導入コストが高いなどの問題が存在する． また，微細な凹凸に関わる加工技術・計測技術の多くは，長年の経験で身につけた職人による手作業で行われてきた歴史がある．さらに，微細凹凸表面に関連する技術は，産業界の発展のためにも次世代への技術継承が必要不可欠である．職人の技術習得には多大な時間と経験が必要になるため，若い世代からの継続的な雇用が求められている．しかし，現代の問題として職人の人材不足が存在する．職人になりたいという人が少ないため，若者を雇うことが難しいことで，慢性的な人手不足に陥っており，技術継承が難しくなっている． 一方，職人の技術は，現在の機械技術や制御技術を応用することで，技術的に再現することが可能である．また，匠の技を知的アルゴリズムで模倣することで，ロボットによる自動化が可能になると考えられている．現在，産業において検査・検品の自動化のためにロボットビジョンを用いた検査・検品の研究が盛んになっている． そこで本稿では，任意の表面上の微細な凹凸を認識するための知的アルゴリズムに基づくロボットビジョンシステムを提案する．提案システムは，安価で迅速な計測が可能であり，自律的に微小凹凸を認識することができるため，生産プロセスの効率化・自動化を図ることができる． 本稿の構成は以下の通りである．第 2 章では，提案システムの概要を述べる．第 3 章では，提案システムの実験結果について述べる．最後に，第 4 章で結論と今後の課題を述べる．２．提案システム ２.１ システム概要 図 1 提案システム 図 1 に，任意の微細凹凸表面を認識するためのロボットビジョンシステムを示す．提案システムは，4 自由度を用いて様々な角度から画像を撮像することを考慮する．ロボットアームには，ファジィ推論に基づく振動抑制手法を提案し，微細凹凸の認識率を向上させる．また，ロボットアームの端部には微細凹凸表面を撮像するためのデジタル顕微鏡が取り付けられている．電子顕微鏡で撮像した画像は，スティッチングにより1 枚の高解像度画像に繋ぎ合わせる．そして，スティッチングされた画像は，Conventional Neural Network （CNN）によって物体検出を行う． ２.２ 振動抑制手法 ロボットアームの動作精度は非常に低い．そこで，ロボットアームの振動を抑制し，認識率を向上させる．本研究では，センシング，ファジィ推論，サーボモータ制御によってロボットアームの振動を抑制し，微細凹凸の認識率を向上させる手法を提案する．センシングは，ロボットアームの端部に取り付けられた加速度センサ GY-521 から X 軸，Y 軸，Z 軸の加速度値をシリアル通信で Jetson に送信する．ファジィ推論では，加速度の誤差とロボットアームの動作角度の値が入力される．加速度の誤差は X 軸，Y 軸，Z 軸の 2 乗平均誤差であり，真値は現在までに加速度センサから受け岡山理科大学紀要　第58号 A pp. 27-32 (2022)(2022年10月31日受付、2022年12月5日受理)図 2 IT2FS のメンバーシップ関数 図 3 T1FS のメンバーシップ関数 取った加速度の平均値である．ファジィ推論は Type-1 Fuzzy Set (T1FS) と Interval Type-2 Fuzzy Set (IT2FS) [1] を使用し，IT2FS の出力は EIASC (Enhanced Iterative Algorithm with Stop Condition) [2] によって出力の近似解で決定される．ファジィ推論の出力はサーボモータのゲインである．IT2FS のメンバーシップ関数を図 2に，T1FS のメンバーシップ関数を図 3 に示す．また，表 1 にファジィルールベースを示す．ゲインはサーボ機構の応答性に影響する．サーボモータ制御はファジィ推論出力のゲインをもとに角度を決定する．振動抑制方式では，振動を抑制するために，開始位置から指定した角度までゲインを徐々に下げていき，ロボットアームのゲインを開始位置から徐々に小さくしていく． 表 1 ファジィルールベース 動作角度  加速度の誤差  サーボモータのゲインHigh High High High Middle High High Low Low Middle High High Middle Middle Middle Middle Low Low Low High Middle Low Middle Middle Low High Low ２.３ スティッチング 図 4 スティッチングのイメージ スティッチングでは，電子顕微鏡により複数の画像から特徴点を検出し，その特徴点に基づいてマッチングを行う．スティッチングのイメージを図 4 に示す．各画像をスティッチングすることで取得物体全体の 1枚の高解像度画像を得ることが可能である．スティッチングによって生成された 1 枚の画像を認識することで，対象表面の微細な凹凸の重複認識を防ぐことができ物体検出の予測時間を短縮することができる．28 湯川千尋・小田哲也・豊島恭平・長井祐樹２.４ 物体検出 図 5 データセット  提案システムでは，YOLOv5 により表面の微細な凹凸を認識する．物体検出とクラス分類を行うことができるディープラーニングモデルを使用する．モデルの学習には，微細な凹凸を含む大量の画像が必要である．しかし，微細な凹凸を処理する工場などの生産現場は少ないため，モデル学習に使用できる画像はごくわずかだと考えられる．そこで，YOLOv5 の学習用に微小凹凸を含む画像のデータセットを作成する．データセットを図 5 に示す．また，微小凹凸の認識率を向上させ，学習時間を短縮するために，既に別の問題で学習させたモデルを転用する手法である転移学習[3]を検討する． ３．実験結果 ３.１ 実験環境 図 6 実験環境  実験環境を図 6 に示す．実験は金属表面に対して行う．ロボットアームは uArm Swift Pro Standard 4 Degree of Freedom を，顕微鏡は 5MP Digital Microscope USB 2.0 を使用した． ３.２ 振動抑制の実験結果 図 7 振動抑制結果 本実験では，ファジィ推論を用いない場合と，ファジィ推論を用いた場合のロボットアームの振動低減を比較する．また，T1FS と IT2FS の比較も行う．ファジィ推論は，表 1 のファジィ規則ベースと，図 2，図 3 の各メンバーシップ関数を用いている．振動低減実験では，測定開始後約 2 [s] でサーボモータを 90 [deg]動かした．振動低減の結果を図 7 に示す．2 [sec.]付近の誤差は動き始めの振動である．また，2.5[sec.]付近の誤差は，画像の揺れの原因になる振動である．2.5[sec]付近の加速度は IT2FS により低減され，ファジィ推論を用いない場合に比べて誤差が小さくなっていることがわかる．また，IT2FS は T1FS よりも性能が良いことがわかる． ３.３ スティッチングの実験結果  As-Projective-As-Possible（APAP）[4]と Elastic Local Alignment（ELA）[5]のスティッチング結果を比較する．金属表面の微細な凹凸を撮影した 10 組の画像を用いて，スティッチングを行う．スティッチングの結果を図 8 に示す．APAP は 8 枚スティッチングができ，ELAではスティッチングができなかった．ELA と一部のAPAP では，スティッチングに失敗しているものがある．これは，特徴点が少なく，特徴点同士のマッチングができなかったためだと考えられる． ３.４ 物体検出の実験結果 物体検出実験では，金属表面の微細な凹凸をターゲットとして認識する．90 個の学習データと 10 個のテストデータを用い，また，YOLOv5 の学習には転移学習を行った．学習結果を図 9 に示す．物体検出の評価指標である mean Average Precision50（mAP50）はアノ微細凹凸を認識するためのロボットビジョンシステムの開発 29図 8(a) 元画像 1 図 8(b) 元画像 2 図 9 微細凹凸の学習結果 図 10 微細凹凸の検出結果 図 8(c) APAP 結果 図 8(d) ELA 結果  テーションデータと認識矩形の重なり具合で決まり，50［％］以上重なりがあれば，検出できているとみなす．微小凹凸の mAP50 は最大で 93.86 [％]である．また，500 回程度の繰り返しで最大値となり，その後減少した．これは学習データ不足によるオーバーフィッティングが原因であると考えられる．図 10 に，APAPを用いたスティッチング画像の微小凹凸の認識結果を示す．提案システムでは，電子顕微鏡で撮影した各画像では認識できないエッジも，スティッチングを行うことで認識することができる．４．まとめ 本論文では，任意の表面上の微小凹凸を認識するための知的アルゴリズムに基づくロボットビジョンシステムを提案した．実験により，提案システムは IT2FSを用いることにより，サーボモータの振動を低減できることを示した．また，YOLOv5 を用いて対象物体の表面を電子顕微鏡で撮影した画像から微細凹凸を認識することができる．今後の課題としては，転移学習によって認識率を向上させていく予定である．図 8 スティッチングの実験結果 30 湯川千尋・小田哲也・豊島恭平・長井祐樹参考文献 1) Liang, et. al., “Interval Type-2 Fuzzy Logic Systems:Theory and Design”, IEEE Transactions on FuzzySystems, Vol. 8, No. 5, pp. 535-550, 2000.2) W. Dongrui, et. al., “Comparison and PracticalImplementation of Type-reduction Algorithms forType-2 Fuzzy Sets and Systems.”, 2011 IEEEInternational Conference on Fuzzy Systems (FUZZ-IEEE 2011), pp. 2131-2138.3) J. Yosinski, et. al., “”How Transferable are Features inDeep Neural Networks?.”, arXiv preprint arXiv:1411.1792, 2014. 4) Zaragoza, et. al., “As-projective-as-possible imagestitching with moving DLT.”, Proceedings of the IEEEconference on computer vision and pattern recognition,pp. 2339-2346, 2013.5) J. Li, et. al., “Parallax-tolerant image stitching based onrobust elastic warping.”, IEEE Transactions onmultimedia, Vol. 20, No. 7, pp. 1672-1687, 2017.微細凹凸を認識するためのロボットビジョンシステムの開発 31Design of Robot Vision for Micro-roughness RecognitionChihiro Yukawa,  Tetsuya  Oda*,  Kyohei  Toyoshima and Yuki  Nagai  G ra d u a t e  s ch o o l  o f  En g in e e r in g ,  * D ep a r t m en t  o f  I n f o r m a t i o n  a n d  Co mp u t e r  En g in e e r in g ,O ka ya m a  Un i v e r s i t y  o f  S c i en c e ,  1 -1  R id a i - ch o ,  K i ta - ku ,  O ka y a m a  7 0 0 -0 0 0 5 ,  Ja p a n  Th e go a l s  o f  In du s t ry  4 .0  a r e  to  ach ieve  a  h igh er  l ev e l  o f  op e ra t ion a l  e ff i c ien cy  an d  pro du c t iv i ty,  a s  we l l  a s  a  h igh er  lev e l  o f  au to ma t i za t ion .  A l so ,  t he  measu remen t  a t  th e  nano- l ev e l  on  th e  su r f ace  o f  th e  ta rg e t  o b jec t  by  a  machin e  has  b een  con s ide red  for  au to ma t ion ,  bu t  th er e  a re  p rob lems su ch  a s  th e  n eed  fo r  h igh  co s t  and  a  l a rg e  amo un t  o f  t ime fo r  m easuremen t .  In  th i s  p ap e r,  we  p ro po se  a  rob o t  v i s ion  sy s t em b ased  on  an  in t e l l ig en t  a lgo r i th m for  recogn iz in g  m icro - ro ug hn ess  o n  a rb i t r a ry  su r f aces .  The  pro po sed  sy s t em i s  in ex pen s iv e ,  mak e  q u ick  mea su remen t  an d  i s  cap ab le  o f  au to no mo u s ly  reco gn iz in g  mic ro - roug hn ess  to  imp ro ve  th e  e ff i c i en cy  o f  p rodu c t io n  pro cesses .  Key wo rds:  Rob o t  Vi s io n ;  Fu zzy  Inf er ence ;  Image  S t i t ch ing ;  Deep  Neu ra l  Ne twork .  32 湯川千尋・小田哲也・豊島恭平・長井祐樹(Received October 31, 2022; accepted December 5, 2022)

ビサイ オウトツ オ ニンシキ スル タメノ ロボット ビジョン システム ノ カイハツ

https://ous.repo.nii.ac.jp/?action=repository_action_common_download&item_id=3082&item_no=1&attribute_id=18&file_no=1

ビサイオウトツオニンシキスルタメノロボットビジョンシステムノカイハツ

Abstract

Similar works

Full text

Available Versions

AROUS Academic Repository of Okayama University of Science / 岡山理科大学学術リポジトリ

ビサイ オウトツ オ ニンシキ スル タメノ ロボット ビジョン システム ノ カイハツ

Abstract

Similar works

Full text

Available Versions

AROUS Academic Repository of Okayama University of Science / 岡山理科大学学術リポジトリ

ビサイオウトツオニンシキスルタメノロボットビジョンシステムノカイハツ