ヴィスコ・テクノロジーズの外観検査アプリケーション「TSCDefFinder」では、従来の手法では諦めざるを得なかった微妙な表面欠陥の検出が可能となりました。人間の目による目視検査をヒントに、複数照明の切り替えなどにより異なるタイミングで撮像された画像から、時系列に変化する違いに着目することから発展。「人間の目に近い＝経験や知覚判断から総合的に行われる検査」をまた一つ体現しました。
目視検査で傷などの欠陥を観察するには、対象の向きを変え、様々な角度から観察します。これはほぼ無意識に行われることが多いですが、欠陥が最も認められやすい光の反射角度を求めるために経験を通じて学んだ動作です。
そもそも凹みや膨れ、クラックのように、状態により最適な照射方向が変化する欠陥の安定検出は困難です。しかも、これら欠陥により生じる輝度変化は、汚れや印刷物によるものより小さい値となることが多くなります。こうした画像では、従来の濃淡差による正しい検出は不可能です。
こういった背景から、「目視では見える（＝コントラストが認められるよう自分で角度を工夫して探し出している）欠陥でも、検査できない（＝撮像画像から得られる数値では濃淡差が少ない／背景などと区別がつかない）」という事態が発生するのです。
そこで有用となるのが時系列相関（Time Series Correlation）による特徴抽出です。
時系列に変化する画像、例えば照明切り替えにより複数回撮像された画像から画素毎に輝度ベクトルを算出し、良品との違い（＝欠陥）を輝度ベクトルの相関値として表現した上で、それらの統計的なバラつきにより良否判定を行なう手法です。人が行う、「色々な光の反射角度（または色）を使って観察をする」ことを、「時系列画像から統計的手法によって得られる値」を用いて近似する試みといえます。
「目視では見えているのに、うまく検査できない。」
人間の目と比べ、機械の目（カメラ＋レンズ）が劣っている訳ではないのですが、このような事態は少なくありません。人間は「見る」ために様々な知見を持つものです。例えば、携帯電話機の傷や汚れ、茶碗のヒビ、車のボディのへこみ、どの場合でも光の当たり具合や見る角度を調整して最も見やすい角度を探し、チェックを行うでしょう。
このように人間は"視線方向と照明方向の関係を変化させると見えるものが変化する"ことを経験的に知っており、そのため手や頭を動かしてこの関係を最適化することが可能なのです。さらに、へこみやクラックなどが、模様や刻印などといった"良品に存在する正常なパターン"とは異なることも知っています。以上のように、人間の目は見たものをそのまま認識している訳ではなく、また視覚機能そのものも、経験による脳の判断の影響が大きいものになります。言い換えれば、人は、「見たいものを見る」ことに秀でているのです。
一方でこの、良否の比較と比較のための特徴抽出手段が、人間の目の高度な知覚機能を実現させるものでもあります。翻せば、人間の目の代替として、見えたものをそのまま視認する機械の目で欠陥を検出するには、腕や顔の動きに相当する光学条件の設定だけでなく、判断によるフォローが必要ということになります。具体的には、正常部と欠陥部の何らかの特徴量に着目し、特徴量の差異が輝度値に反映されるよう撮像すれば良い、ということです。
以下、従来の照明装置の制御による特長抽出でご紹介するのは、外観検査でよく発生する表面上の欠陥を一般的な照明配置で撮像したものです。欠陥の特性に応じ、撮像後の処理方法に違いが発生していますが、これを脳による判断で補う際に、新たな手法としてご紹介する「TSCDefFinder」が役立ちます。この、時系列に変化する画像の違いに着目した新しい検査手法は、「人は見えるのに機械では検出できない」という問題の解消を実現したものです。以下にその手法を解説します。
以下の例はどれも一般的に発生する欠陥ですが、欠陥の状態により最適な照明方向が変化します。上の図の①の多方向照明のように様々な方向に照明を配置した上で、それぞれの照明条件の下に撮像して検査する必要があります。
製品以外の物質が製品と異なる反射率を持っている場合に色の違いとして現れます。図1aは、中央にへこみが生じている金属板を、同軸落射照明と斜方照明を用いて撮像した例です。対象は同一でも照射方法により得られる画像が異なることが分かります。同軸落射照明を用いた環境では凹みが見られず、汚れのみが得られてます。反射率という特徴に着目し、凹凸などのそれ以外の特徴が顕在化しないよう制御されており、汚れに関しては安定した検出が期待できます。
緩やかな凹凸は、対象表面の法線ベクトルの変化が明暗の変化となって現れます。つまり、凹凸の傾斜角が緩やかであるほど明暗の変化も小さくなり、平坦部と凹凸部に差異を生じさせることが難しくなります。この差異を生じさせるためには、法線ベクトルに平行な方向に照明を配置することが必要です。図1bでは、対象の右斜め上に照明を配置したところ、平坦部とへこみ部に輝度の差異を生むことが出来ました。ですが、へこみの位置や傾斜角が変化すれば照明配置の変更が必要になるでしょう。
また画像の左半分が暗く、へこみと汚れの区別も難しそうで、画像処理も容易ではないでしょう。
へこみ・ふくれのような緩やかな凹凸の特徴を抽出するために、照明方向を順次変化させた複数の画像から時系列正規化という処理を行ないます。バー照明を対象の右斜め上から左斜め上に移動させながら4 枚の画像を撮像すると、画素ごとに4つの輝度値が得られます。
この4つの輝度値を正規化し、正規化後の4つの輝度値を対応する画像に戻すと、下段の画像が得られます。上下を見比べると、対象表面の汚れが消えていることと、へこみが見えやすくなっていることが分かります。正規化後の輝度値は反射率の影響が小さくなり、法線ベクトルの影響が残ります。よって、へこみによる法線ベクトルの変化がより強く時系列正規化画像に反映されます。
クラックの特徴抽出においても時系列正規化処理を用いますが、クラックによる輝度変化は微弱であるため更に工夫が必要となります。具体的には、原画像を微分処理した後に時系列正規化処理を行ないます。
四方向バー照明を用いて上→右→下→左の順で照明を順次点灯した画像に対して時系列正規化処理を行なった下段の画像では、微弱であったクラックによる輝度変化が十分に抽出されていることが確認できます。
欠陥の特徴が十分に抽出されたこの画像群を良品と比較することで欠陥部分のみを検出します。複数の良品を登録することにより良品のバラつきを学習。時系列正規化処理では対象の法線ベクトル情報を抽出しているので、良品の平均的な形状と形状のバラつきを学習しているといえます。これにより、「良品形状のバラつき」を外れる「形の異常」をへこみ・ふくれ／クラックなどとして検出することが可能となります。
私たちは、外観検査・画像処理検査に関するエキスパート集団です。単なるメーカーではなく、画像処理アルゴリズム、光学技術、電気・機械の知識と経験を兼ね備える外観検査・画像処理検査装置メーカーとして、総合的なコンサルティングも可能とする、開発型エンジニアリング企業です。
