【異常検知コラム】AIの精度ってどう考えればいいの？

ＡＩを用いて異音検知や異常検知を行う目的によって、AI自体の作り方や求める精度は大きく変わります。本記事では、そのような疑問を解決できるよう、精度の決定方法について解説をします。

精度評価の方法が大切な理由

AIを導入する際には、顧客や現場メンバーから「何％くらいの精度なの？」「完璧なの？」と聞かれることが多くあります。もちろん「完璧」に近いAI学習モデルを作成できるに越したことは無いのですが、完璧に近づけようとするほど開発費用が指数関数のように増えていくことが一般的となっています。

費用等の兼ね合いがあることから、上記を実現することは現実的ではありません。そこで、目的によってAIがどこまでなら業務活用できそうかを定義する必要があります。

その際には、次のような指標が用いられることが多いです。

• 偽陽性率(false positive rate)
• 真陽性率(true positive rate)

偽陽性率は、実際は異常なものを「正常」と予測してしまう割合となり、ゼロに近いほど誤検出が少なくなるものです。
真陽性率は、実際は正常なものを「正常」と予測できた割合となり、100に近いほど見逃しが少なくなるものです。

AI作成の目的は？

当社は異音検知サービスを提供しておりますが、お問合せいただく方の目的は大きく分けて次のように分けられます。

• 製品の良否判定（完成検査）
• 設備の予兆検知（モニタリング）

製品の良否判定については、異常品を「正常」と判定しないことが重要視されますので、儀陽性率を抑える方針でAIアルゴリズムを調整することとなります。その代わり、真陽性率をある程度許容する必要がでてくるため、過検出もトレードオフの関係としてある程度発生します。

設備の予兆検知は、正常状態を「異常」として判定しないことが重要視されます。儀陽性率を抑える方針でAIアルゴリズムを調整することに変わりはありませんが、それ以上に真陽性率を高めることが重要となります。つまり、正しい状態を「異常」と判定しないように「過検出」を極力抑える方針でアルゴリズムを調整することが必要となります。