お客様: 国立研究開発法人様

ご依頼内容

  • X線画像から対象物をセグメンテーションする研究で、不足している教師データを、画像生成モデルで自動作成したい。
  • 単一クラスで確立した生成方法を、20クラスへ拡張し、クラスごとの生成品質を改善したい。
  • 研究の中で繰り返し使えるように、MATLABプログラムとして受け取りたい。

課題

  • 画像とラベルのペアを人手で多数作る、アノテーション工数を減らすこと。
  • 形状や内部構造の傾向が異なる20クラスを、共通の実行フローで扱うこと。
  • 生成画像の品質を、目視だけでなく、定量指標でも比較できるようにすること。

ソリューション

  • 少ない教師データから、その形状の特徴を考えて、似ている教師データを生成する作業は、敵対的生成ネットワーク(GAN)のアルゴリズムを利用するのが本質的と考え、今回は部品配置を表すラベル画像をGANで生成し、pix2pixHDで対応するX線画像の詳細を生成する、2段階パイプラインを構築した。
  • 画像解像度を上げ、知覚損失の重みと、生成器・判別器の学習率バランスを調整して、学習させた。
  • 外形の直線化・細線化、矩形部品の付加、実データからの部品合成など、クラス別の後処理を用意した。
  • クラス数が多いので、前処理、学習、生成、後処理を一括制御する仕組みを作った。
  • 生成画像と実画像からCNN特徴ベクトルを抽出し、コサイン類似度で品質を評価した。
  • 効果が得られなかった高解像度化手法なども、結果とともに報告した。
教師データ自動生成の2段階パイプラインの処理フロー図
教師データ自動生成の処理フロー。GANが部品配置のラベル画像を生成し、pix2pixHDが対応するX線画像を生成する。クラス別の後処理と、コサイン類似度による定量評価までを、設定ファイルで一括制御する。説明のために作図した模式図です。
GANの構造図。生成器と識別器から成る敵対的生成ネットワークの構成
GAN(敵対的生成ネットワーク)の構造。生成器が本物らしいデータを生成し、識別器が実データと生成データを見分けるよう、両者を同時に学習させる。出典: The MathWorks, Inc.「敵対的生成ネットワーク (GAN) の学習」(© 1994-2026 The MathWorks, Inc.)
セグメンテーションマップから画像を生成するpix2pixHDの入出力例
pix2pixHDによる、セグメンテーションマップからの画像生成。左の領域ラベル(どこに何があるか)から、右のような画像を生成する。本件では、この仕組みを部品配置のラベル画像からX線画像を生成するために用いた。出典: The MathWorks, Inc.「深層学習を使用したセグメンテーション マップからのイメージの生成」(© 1994-2026 The MathWorks, Inc.)
部品配置のラベル画像とX線調の生成画像のペアを示すサンプル図
生成される画像ペアのイメージ。左が部品配置を表すラベル画像で、色の違いが部品クラスの違いを表す。右がラベルに対応するX線調の生成画像。この画像は説明のために作図したサンプルで、実際の研究データ・生成結果ではありません。

結果

  • 全20クラスについて、画像・ラベルのペアを自動生成するプログラムを納品した。
  • 20クラス中19クラスで、生成品質の改善を確認した。
  • 人手のアノテーションに頼らずに、不足していた教師データを、プログラムで拡充できる状態になった。

ひとこと

  • 「教師データが足りない」は、深層学習のご相談で、よく伺う課題です。弊社では、生成モデルの構築だけでなく、クラスごとの失敗原因を分けて直す後処理や、品質の定量評価までを、一括してお引き受けします。
  • 生成、後処理、評価を一つの運用フローとして整えると、クラスの追加や、パラメータの変更にも、同じ手順で対応できます。設定ファイルで一括制御する作りは、他のデータ生成にも応用できます。

お問い合わせ

開発事例にご興味ありましたら、お気軽にお問い合わせ下さい。
下記の、「今すぐお問い合わせ」をクリックして、フォームにご記入下さい。
早急に回答致します。

今すぐお問い合わせ