お客様: 公的研究機関様

ご依頼内容

  • X線CTで取得した3次元ボクセルデータから、内部の部品を種類ごとに、自動で分割したい。
  • 分割した部品を、部品単位の3D形状として取り出し、形を確認できるようにしたい。
  • 複数の手法を比較し、対象データに合う構成を、選定してほしい。
  • 実装は、MATLABのプログラムとして受け取りたい。

課題

  • 技術的には、表面が滑らかで、局所形状の特徴が乏しい4種類の部品を、ボリューム上で識別することが困難なこと。
  • 撮影用の台の写り込みや、教師ラベルのばらつきが、学習へ与える影響を抑えること。
  • 分割結果を、部品単位で確認できる3D形状へ変換すること。

ソリューション

  • 密度プロファイルで撮影台を分離し、二値化と外接直方体で、対象領域を切り出した。
  • 多クラスの3D U-Netを複数の損失条件で比較したが、分類がまだら状になるため、不採用とした。
  • 点群系ネットワークも実装・検討し、局所形状やボクセル解像度との相性を理由に、不採用とした。
  • 採用構成では、2クラスの3D U-Netで全部品の前景を抽出し、形態学処理で個体へ分割した。
  • 各個体の体積、主軸長、充填率などの3次元特徴量を算出し、決定木系のアンサンブルで、4クラスへ分類した。
  • 塊状と細長い部品で表面再構成手法を使い分け、部品別のSTLを出力した。
前処理、前景抽出、個体分割と分類、3D形状の出力の4段階を示した処理フロー図
採用した処理の流れ。前処理で撮影台を除去し、2クラスの3D U-Netで前景を抽出、形態学処理と特徴量分類で部品の種類を判定し、部品別のSTLを出力する。処理の構成を示した図で、実際のデータは含まない。
入力ボリューム、まだら状になった多クラス学習の結果、部品ごとに色分けされた採用構成の結果を並べた模式図
多クラス学習と採用構成の違い。End-to-Endの多クラス学習では分類がまだら状になり、前景抽出と特徴量分類を分けた構成では部品の種類ごとに分離できる。生成したサンプル画像による模式図で、実際のデータではありません。
ラベルボリューム、表面の点群化、部品別STL出力の3段階を示した模式図
部品別の3D形状出力の流れ。分類済みラベルボリュームから表面ボクセルを点群化し、塊状の部品はPoisson再構成、細長い部品はalphaShapeでSTLへ変換する。生成したサンプル画像による模式図で、実際のデータではありません。

結果

  • End-to-Endの学習では成立しなかった4種類の部品識別を、前景抽出・個体分割・特徴量分類の構成で実現した。
  • 混同行列と目視で残る誤りを個別に整理し、次フェーズの定量評価課題を提示した。
  • 部品別のラベルボリュームとSTLを出力し、内部の部品の3D形状を、分解せずに部品単位で確認できる。

ひとこと

  • 3Dボリュームデータのセグメンテーションには、深層学習から古典的な画像処理まで、様々な方法があります。データの解像度や、対象の形状の性質によって、有効な方法が変わるため、最適な構成を選ぶのは難しいと思います。
  • 「定番とされる深層学習を試したが、思うような精度が出ない。学習条件を変えて試すだけで、時間が過ぎてしまう。方法から選び直したい。」という場合はあります。弊社は、深層学習と古典的な画像処理の役割を分けて、構成を組み直します。不採用とした手法についても、理由をつけてご報告します。

お問い合わせ

開発事例にご興味ありましたら、お気軽にお問い合わせ下さい。
下記の、「今すぐお問い合わせ」をクリックして、フォームにご記入下さい。
早急に回答致します。

今すぐお問い合わせ