お客様: 大手電機メーカー様
ご依頼内容
- 空港の監視システムで、カメラ画像から鳥を検出するAIの、精度を上げたい。
- 検出したあとに人が確認へ行かない運用なので、誤検知を減らすことを最優先にしたい。
- 比較した方式の性能と、選定の理由が分かる報告書として、受け取りたい。
課題
- 検出後に人が確認へ行かない運用に合わせて、誤検知の低減を最優先にすること。
- 検出率を上げる調整と、誤検知を減らす調整は互いに逆へ働くため、その兼ね合いを決めること。
- 約1万枚の実画像から正解データを作り、方式間の比較条件を揃えること。
ソリューション
- お客様の運用を確認し、誤検知の低減を第1優先、見逃しの低減を第2優先とする評価方針を、最初に定めた。
- 事前学習済みの検出器、鳥1クラスのファインチューニング、5クラス学習を、順に比較した。
- 鳥検出の後段に、識別ネットワークを置く2段階方式を実装した。
- ファインチューニングには、反転、拡大縮小、色変化のデータ拡張を適用した。
- 誤検知が夜間の画像に集中していることを突き止め、しきい値の引き上げと、夜間を判定から外す方式を追加した。
- Confusion Matrixから検出率と誤検知率を算出し、6方式を同一の指標で一覧化した。
結果
- ファインチューニングにより、検出率は63.8%から96.6%へ向上したが、誤検知率は1.9%から28.8%へ増加した。
- しきい値の引き上げと、夜間を判定から外す調整により、誤検知率は28.8%から0.7%へ、検出率は96.6%から74.7%へ変化した。
- 一般には検出率の高さが優先されるが、本件の優先順位に従い、検出率が最も高い方式はあえて推さず、誤検知率0.7%の方式を運用の推奨点として提示した。
- 6方式の性能比較表と、継続評価が必要な条件を報告書にまとめ、方式選定の判断材料とした。
- 精度指標の優先順位を運用条件から明文化したため、選定の理由と、以後の評価基準を、お客様側で共有できる状態になった。
ひとこと
- 検出AIは、検出率が高いほど良い、と思われがちです。しかし、どちらの誤りが困るかは、検出の前後にどんな作業が続くかで変わります。今回の場合、検出率の向上よりも、誤検知率の低減のほうが重要なので、その方向での調整が必要となります。
- 弊社は、その優先順位をお客様と決めたうえで、学習のさせ方、しきい値、後段での再判定、判定から外す条件といった調整を組み合わせて、減らしたい側の誤りを狙って減らします。正解データの整備から、方式の比較、選定理由の説明までを、一括してお引き受けします。
お問い合わせ
開発事例にご興味ありましたら、お気軽にお問い合わせ下さい。
下記の、「今すぐお問い合わせ」をクリックして、フォームにご記入下さい。
早急に回答致します。
