お客様: 大手化学メーカーの研究所様

ご依頼内容

  • Pythonで学習させた画像分類モデルを、MATLABへ取り込んで、同じ判定を再現したい。
  • 分類の結果だけでなく、画像のどこを見て判断したのかも、確認できるようにしたい。
  • 判定の実行から結果の出力までを、誰でも使えるGUIにまとめたい。
  • MATLABのライセンスが無いPCでも、判定を実行できるようにしたい。

課題

  • 学習側と運用側で環境が異なるため、前処理と推論結果を一致させること。
  • 分類の判断根拠を、元の画像上で確認できる形にすること。
  • MATLABのライセンスに依存しない配布形態にすること。

ソリューション

  • Keras形式の学習済みモデルとクラス定義をMATLABへ読み込み、分類ネットワークとして構成した。
  • 入力画像の向き、224×224画素への変換、値域の正規化を、学習側の手順と揃えた。
  • 判定ラベル、スコア、処理の進捗をGUIに表示し、判定結果をCSVへ出力した。
  • 最終畳み込み層の特徴と分類スコアからヒートマップを求め、元の画像へ重畳するGrad-CAMを実装した。
  • Guided backpropagation用のReLU層を独自に実装し、より細かな判断領域を示すGuided Grad-CAMまで出力した。
  • Python側とMATLAB側の判定結果を突き合わせて、一致を確認する処理を用意した。
  • MATLAB Compilerで、MATLAB Runtimeがあれば動く、スタンドアロン実行形式を作成した。
  • 初期の検討では、画像内の円形領域を自動で検出し、その中心を基準に切り出す処理を、1枚ごとの処理と一括処理の両方で自動化した。
Kerasの学習済みモデルをMATLABへ取り込み、判定の一致を確認する流れ図
学習済みモデルの取り込みと、判定の一致確認の流れ。Python側で学習したモデル定義、重み、クラス定義をMATLABへ読み込み、画像の向き、224×224画素への変換、値域の正規化を学習側と揃えたうえで、Python版とMATLAB版の判定を突き合わせる。構成を示す模式図で、実際の画面ではない。
元画像、Grad-CAM、Guided Grad-CAMを並べて表示する分類アプリの画面
分類と可視化のGUI。識別器と前処理を設定して実行すると、元画像、Grad-CAM、Guided Grad-CAMを並べて表示し、判定ラベルとスコアを出力する。Grad-CAMは判定に効いた領域ほど暖色で示すもので、この例では左上の欠けに反応している。Guided Grad-CAMは、同じ領域の輪郭をより細かく示す。画面の表示はアプリを模式的に示したもので、3つの表示部の画像、判定ラベル、スコアは、サンプルデータであり、実際とは異なる。
MATLAB CompilerとRuntimeによりライセンスの無いPCで実行する配布形態の図
配布形態。MATLABで実装したGUIをMATLAB Compilerでスタンドアロン実行形式に変換し、MATLAB Runtimeと合わせて納品することで、MATLABのライセンスが無いPCでも判定を実行できる。構成を示す模式図で、実際の画面ではない。

結果

  • Pythonで学習したモデルをMATLABへ取り込み、同じ判定を再現したうえで、判断根拠の可視化を追加した。
  • 学習に使っていたPythonだけの環境では見られなかった、判断に効いた領域を、運用の側で確認できるようになった。
  • 分類、スコアの出力、判断根拠の可視化を、一つのGUIに統合した。
  • MATLABのライセンスが無いPCでも、判定を実行できる形で配布できるようになった。
  • モデルを学習する側と、判定を現場で使う側とで、分担して運用できるようになった。
  • 判定の根拠を画像として示せるため、結果の妥当性を、お客様側で確認できる状態になった。

ひとこと

  • 機械学習のモデル探索はPythonで、運用はMATLABに統合したい、という分担のご相談はよくあります。環境をまたぐと、前処理の僅かな違いで判定がずれるため、移した後に同じ結果が出ることを確かめる工程が要ります。
  • 判断根拠の可視化は、既製の機能をそのまま使えるとは限らず、ネットワークの層を差し替えるなど、中身に踏み込んだ実装が必要になることがあります。
  • MATLABのGUIとスタンドアロン実行形式にしておけば、プログラムに不慣れな人でも、手元のPCで判定を試すことができます。
  • 弊社は、学習済みモデルの取り込みから、前処理の一致確認、判断根拠の可視化、配布形態の整備までを、一括してお引き受けします。

お問い合わせ

開発事例にご興味ありましたら、お気軽にお問い合わせ下さい。
下記の、「今すぐお問い合わせ」をクリックして、フォームにご記入下さい。
早急に回答致します。

今すぐお問い合わせ