Saliency API

詳細説明

多くのコンピュータビジョンアプリケーションは、ある場面において人間がどこに注目するかを理解することから恩恵を受けられる。人間が画像や場面をどのように知覚するかを認知的に理解すること以外にも、画像中の顕著な領域やオブジェクトを見つけることは、物体検出・物体認識・物体追跡・コンテンツに応じた画像編集といったさまざまなタスクの高速化に役立つ。

顕著性 (saliency) については豊富な文献があるが、その発展は非常に断片的である。この API の主な目的は、性質や手法が大きく異なる複数の顕著性アルゴリズムを利用・接続するための統一されたインターフェース、統一されたフレームワークを提供することにある。これらのアルゴリズムは同じ目的を共有しており、次の 3 つの主要カテゴリに整理される:

静的顕著性 (Static Saliency)**: このカテゴリに属するアルゴリズムは、非動的なシナリオで顕著なオブジェクトを検出できるさまざまな画像特徴を利用する。

動き顕著性 (Motion Saliency)**: このカテゴリに属するアルゴリズムは、時間（したがってフレーム）にわたって顕著なオブジェクトを検出することに特に重点を置いている。そこには時間的な要素があり、「動いている」オブジェクトを顕著なものとして検出できる。これはすなわち、より一般的な意味での場面の変化を検出することも意味する。

オブジェクト性 (Objectness)**: Objectness は通常、画像ウィンドウが何らかのカテゴリのオブジェクトを覆っている可能性の高さを反映する値として表される。このカテゴリに属するアルゴリズムは、カテゴリに依存しない少数の候補を提案することで、早い段階での判断を避ける。これらの候補は画像中のすべてのオブジェクトを覆うことが期待される。オブジェクトを識別する前に知覚できることは、ボトムアップの視覚的注意 (顕著性) と密接に関連している。

Saliency diagram

API の動作を確認するには、トラッカーのデモを試すとよい: https://github.com/fpuja/opencv_contrib/blob/saliencyModuleDevelop/modules/saliency/samples/computeSaliency.cpp

覚え書き

この API は PlantUML で設計されている。この API を変更する場合は UML も変更すること。

クラス
class	cv::saliency::MotionSaliency
class	cv::saliency::MotionSaliencyBinWangApr2014
	[300] による高速自己調整型背景差分 Algorithm 続きを読む...
class	cv::saliency::Objectness
class	cv::saliency::ObjectnessBING
	[3] に基づくObjectnessアルゴリズム [3] Cheng, Ming-Ming, et al. "BING: Binarized normed gradients for objectness estimation at 300fps." IEEE CVPR. 2014. 続きを読む...
class	cv::saliency::Saliency
class	cv::saliency::StaticSaliency
class	cv::saliency::StaticSaliencyFineGrained
	[204] によるFine Grained Saliency 手法 続きを読む...
class	cv::saliency::StaticSaliencySpectralResidual
	[130] によるスペクトル残差 (Spectral Residual) 手法 続きを読む...