AIビジョンの理解：画像分類からインスタンスセグメンテーションまで

コンピュータビジョンにおいて、機械が画像を認識する複雑さは、画像全体を単一の概念として理解することから、個々のピクセルレベルでの分析へと進化します。これらのタスクは、提供する詳細度に基づいて分類されます。

画像分類

画像分類は最も基本的なタスクです。画像全体に単一のラベルを割り当てます。例えば、AIに犬の写真を見せると、モデルは単に「犬」というラベルを出力します。画像に何が写っているかはわかりますが、物体の位置や複数の物体があるかどうかは指定されません。これは、コンテンツモデレーション（画像全体を安全または安全でないとフラグ付けする）や、画像を内容に基づいてフォルダに分類する単純な仕分けシステムなどの文脈で使用されます。

物体検出

物体検出は、画像内の何がどこにあるかを特定することで、より詳細なレベルに移行します。画像全体にラベルを付ける代わりに、特定の物体の周囲にバウンディングボックスを描き、各ボックスにラベルを割り当てます。例えば、街のシーンでは、3台の異なる車と歩行者にボックスを描くかもしれません。これは、自動運転（車が障害物を避けるために正確な位置を知る必要がある）や、小売業（カメラが棚の商品を追跡して在庫を管理する）などのリアルタイムアプリケーションに不可欠です。

セマンティックセグメンテーション

セマンティックセグメンテーションは、分析をピクセルレベルにまで進めます。画像内のすべてのピクセルを、道路、空、木、車などのカテゴリに分類します。ただし、同じクラスの個々の物体を区別しません。画像に3台の車がある場合、セマンティックセグメンテーションは、任意の車に属するすべてのピクセルを同じラベルで色付けし、実質的に1つの大きな車のピクセルの塊として扱います。これは、領域の正確な境界が個々の物体よりも重要なタスク、例えば医療画像で腫瘍の領域を特定したり、衛星画像で森林や水域などの土地利用をマッピングしたりする場合に非常に役立ちます。

インスタンスセグメンテーション

インスタンスセグメンテーションは、物体検出とセマンティックセグメンテーションの強みを組み合わせます。セマンティックセグメンテーションと同様に各ピクセルを分類しますが、同じクラスの個々のインスタンスも区別します。3台の車がある場合、それらを車1、車2、車3としてラベル付けし、それぞれに一意のマスクを提供します。これは最も正確な分析レベルです。これは、機械が類似したアイテムの山から特定の物体を拾い上げる必要がある高度なロボット工学や、医師が組織の一般的な領域を特定するだけでなく、個々の細胞や病変を数えて測定する必要がある医療診断で使用されます。

比較表

結論

要約すると、タスクの選択は必要な出力に依存します。画像の一般的な内容だけを知る必要がある場合は画像分類を使用します。バウンディングボックスで物体を特定する必要がある場合は物体検出を使用します。シーン全体のカテゴリの形状と境界を理解する必要がある場合はセマンティックセグメンテーションを使用します。画像内の個々の物体を特定、カウント、正確に輪郭を描く必要がある場合はインスタンスセグメンテーションを使用します。