外観検查

外観検查とは

外観検査(目测)は製造業で生産された部品,製品を出荷前にチェックする目的で行われます。外観検査では,複雑な形状の部品や製品などもあることから,検査対象により柔軟な判断が求められます。経験豊かな職人が視覚,もしくは触覚を合わせて検査を行う必要があるため,自動化が進む製造プロセスの中で最も人手に頼られてきた領域です。しかし,ディープラーニングの登场により外観検查の自动化が急速に浸透しています。

外観検査の成功例と製造業でのAI導入における課題

外観検查を中心に现场へのAI导入が进む一方で,「AI.で何かしてほしい」という指示により现场が混乱したり,実运用での效率化につなげられていないケースもあります。そこで,外観検查を中心に制造业でAIを导入する际に検讨すべき3つの点をご绍介します。

  1. どの课题をAI(ディープラーニング)で取り组むべきか
  2. 开発の进め方
  3. 的PoCから现场での运用

どの课题をAI(ディープラーニング)で取り组むべきか

ディープラーニングは,「大量のデータから人が教えた通りに正确に线引きできるようになる」手法である性质上,以下に该当するテーマが适しています。

  • データが十分にあり,また継続的に追加できる
  • 経験を持った人であれば全员同じ判断ができる

人が迷うタスクを正确に判断してくれるものではないことに注意しましょう。现在の第三次AIブームでは畳み込みニューラルネットワーク(CNN)を用いて「人の目をコンピュータで置き换える」ことが泛用化されたため,外観検查への适用に期待が高まっています。一般的に,人の作业を自动化できる割合が高いほど,高い成果が期待できますが,课题が解决できるか不确実な场合は実用化に到达できないリスクも考虑する必要があります。一つ目の课题には效果の确実性が高い,つまり人が简単に见分けられる课题から取り组むことが望ましいといえます。

ではどのような课题が実际にAIによって解决されているのでしょうか。テクニックも含め具体例をご绍介します。

  • 外観検查 - 出荷品の仕分け
ディープラーニングが得意とするタスクで,部品A,部品乙など同じ量のデータが手に入る际には,転移学习という方法が适しています。短いコーディングで,うまくいけば一日で成果が出ることもあります。
  • 外観検查 - 良否判定
制造业で最もAIへの期待が高いタスクは,外観検查での良否判定です。この际多くのケースで课题になるのは,正常な画像に対して异常なデータが圧倒的に少ない点です。そのようなときは正常/异常を教える教師あり学習は利用できません。ここではCNN.と一类支持向量机の組み合わせで正常画像のみで学習する手法をご紹介します。
  • 外観検查 - 异常个所の特定

外観検查の中でもフィルムなどの化学材料,食品材料や衣料など一様な模様の中から异常や混入物を判定したいケースがあります。その际は「どこに」异常があるかまで特定したい场合もあります。このような课题に利用できるオートエンコーダーを正常画像のみで学习させる手法をご绍介します。

※応用としてVAE(变自动编码器)を用いた例のサンプルコードはこちら

异常なデータが少ない场合は上记の異常検知テクニックを利用し,异常画像が集まってきた时点で教师あり学习に移行していきましょう。

外観検查以外の制造业でのAI活用例を下记にご绍介します。

  • メーターの値読み取り
多くの作业现场ではメーターで表示される値を定期的に确认する作业が多くあり,人の作业では见间违い,书き间违い,时には忘れてしまうリスクもあります。以下のビデオでは,ディープラーニングの回帰を用いて反射の映り込みにも柔软にメーターの値を読み取る方法をご绍介します。
  • 作業工程の計測,行動解析,装備品のチェック
制造业での生产性向上のため作业效率を上げたい场合には,各工程にかかる时间を把握する必要があります。下记の事例では,カメラとディープラーニングで动作の解析を行い,CNNとLSTMを用いて精度向上に成功しています。

また,シンプルな适用例としては作业现场で适切な装备品を身に着けているかなどの判定にも利用されています。

  • 打音検查

工场内では音から制品や制造装置の异常を検出することもあります。以下のサンプルコードでは1次元の音声信号を2次元に変换して,CNNにかけることで正常/异常を判定する方法を学ぶことができます。

その他,AI以外でも,バーコード読み取りQRコード読み取りを用いることで在庫管理も合わせて行うことができます。

开発の进め方

制造业でAIエンジニアが自社にいない场合でも,最近では上记で绍介した手法や,実践的なサンプルコードが手軽に入手できますので,自社で開発を進めることが容易になりました。

特に,下记のケースでは自社での开発を进めることでメリットがあります。

  • 外観検査など似た課題が複数ある
  • AIを使って业界差别化したい
  • プログラム経験者がいる

実例の中にはAI未経験から3か月程度で実プロジェクトにおける成功の見通しが立つケースは珍しくありません。また旧来のルールベースの手法とは異なり,ディープラーニングではモデルを置き換えるだけで異なる判定ができるなど,プログラムの転用がしやすく2つ目以降の開発効率は格段に上がります。Mathworks.ではお客様のデータを元にアルゴリズム開発を支援する技術コンサルティングサービスを提供していますので、必要に応じて技術アドバイザーの支援をうけ自社内にノウハウを蓄積することで、費用対効果があがり、業界内での差別化が期待されます。

的PoCから现场での运用

アルゴリズムの検讨は进みながらも,実证実験には进めていないケースも多くあります。最初から完全にAIで置き换えることに固执してしまうと,精度100%にこだわるあまり次のステップに进むことができません。

正常/异常判定におけるしきい値设定

例えば上図のように正常/異常が分布しているとき判定精度が高いのは左ですが,右のようにスコアのしきい値をずらし”過検出“となるように運用することで,異常品を正常と判定して出荷されてしまうことを避けることができます。AIで1次判定し,自信が持てない20%は人が最終チェックを行う,異なる役割の二つのモデルを組み合わせる等,実用化のための運用方法を確立していくことができます。

また,ディープラーニングは「ブラックボックス」であることから现场に受け入れられにくいケースもあります。これに対する対応として,的PoCの段阶から现场でAIのモデルを活用できるようにすることが重要です。プログラムのコードと精度だけではAIについて关系者の理解は进みません.GUI化し,现场での判定支援ツール作业效率を向上しつつ,どういう场面で误判定が起こりやすいかのフィードバックを收集していきます.MATLABには标准で应用设计师というGUIを作成できる机能が搭载されており,配布用のオプションがあれば,マウス操作でAIを利用できるツールを简単な操作で実行ファイルに変换でき,社内の现场やお客様に配布することが可能です.Caffe,Tensorflow-kerasやONNX形式を経由して既存のモデルをMATLAB®に取り込んで,GUIツールにすることもできます。

Grad-CAMによる注目領域の可視化(サンプルコードはこちら

その际に「说明できるAI」としての机能は不可欠です。上図のツールでは外観検查での良否判定に类激活映射(CAM)やその応用である梯度-CAMを用いて,そのモデルはどこに注目してその判定を行ったかをヒートマップで可视化しながら,动作の倾向を理解し精度向上につなげています。伤がついている部分が赤く反応していることがわかります。

的PoC完了后はシステムへ统合し実证実験に移行していきます。この时目指すシステムのイメージを持つことは重要ですが,取り组む前に确定し固执してしまうことは危険です。

下の表ではそれぞれのメリットや课题を简単にまとめています。

展开するターゲット メリット 課題
组み込み(覆盆子裨,NVIDIA杰特森等)
  • データトラフィックを低减
  • 単価が安い
  • 生データの保存
  • マシンパワー
デスクトップ/ラップトップ
  • コストは中
  • セキュリティ(ネットワーク隔离)
  • 扱いやすい

复数必要な场合:

  • コスト増
  • データ管理が复雑
オンプレミスサーバー
  • セキュリティ(ネットワーク隔离)
  • 独自のシステムで最適化
  • 初期コスト
  • スケールアップ/ダウン
  • ネットワークの知识
クラウド
  • スケールアップ/ダウンが容易
  • 各种APIサービスと连携
  • ネットワークトラフィック
  • セキュリティ

例えば,サーバーやクラウドで判定させたい场合でも,ネットワークトラフィックがボトルネックになり満足な速度で利用できない,组み込みボードで判定させたいが,精度向上のためデスクトップマシンで判定と画像收集を合わせて行うなど,利用目的やフェーズによって最适なターゲットが変わることを念头にいれておく必要があります。

MATLABではデスクトップマシン,社内サーバーやクラウド,树莓派™や英伟达®特森®などの组み込みボードと様々なターゲットを选択できます。开発途中での変更や目的ごとに柔软に対応することが可能です。

ディープラーニングのシステムへの统合

特にGPU向けへのコード生成では,ターゲットに対して最适なコードを生成することができ,高速な推论を行うことが可能です。

まとめ

  • 外観検査をはじめ製造業ではAIで取り組むことができる課題が多くあります。
  • 取り組みはAIエンジニアと現場との協調が不可欠で,説明できるAIとGUIの組み合わせが有用です。
  • 最初から完全にAIに置き换ることに固执せず,まずは「作业者をアシストする」ところから柔软にAI利用の成果を积み上げていきましょう。
  • MathWorks公司が提供するMATLABと技术サービスを利用し制造业で效率的なAI开発が可能です。

参考:深度学习工具箱

无料の电子书

ディープラーニングを使用した光学検査の自動化

MATLABを使用して,制造した部品や资材の异常を検出および分类するようディープラーニングネットワークを学习させ,展开する方法をご绍介します。

电子书を読む