目的

このチュートリアルでは、次のことを学ぶ

CNトラッカーのカスタム引数を設定する。
CNトラッカーに独自の特徴抽出関数を使用する。

このドキュメントには cv::TrackerKCF のチュートリアルが含まれている。

ソースコード

#include <opencv2/core/utility.hpp>
#include <opencv2/tracking.hpp>
#include <opencv2/videoio.hpp>
#include <opencv2/highgui.hpp>
#include <iostream>
#include <cstring>
#include "samples_utility.hpp"
 
using namespace std;
using namespace cv;
 
// prototype of the functino for feature extractor
void sobelExtractor(const Mat img, const Rect roi, Mat& feat);
 
int main( int argc, char** argv ){
 // show help
 if(argc<2){
    cout<<
 " Usage: tracker <video_name>\n"
 " examples:\n"
 " example_tracking_kcf Bolt/img/%04d.jpg\n"
 " example_tracking_kcf faceocc2.webm\n"
      << endl;
 return 0;
  }
 
 // declares all required variables
 Rect roi;
 Mat frame;
 
 TrackerKCF::Params param;
  param.desc_pca = TrackerKCF::GRAY | TrackerKCF::CN;
  param.desc_npca = 0;
  param.compress_feature = true;
  param.compressed_size = 2;
 
 // create a tracker object
 Ptr<TrackerKCF> tracker = TrackerKCF::create(param);
 
  tracker->setFeatureExtractor(sobelExtractor);
 
 // set input video
  std::string video = argv[1];
 VideoCapture cap(video);
 
 // get bounding box
  cap >> frame;
  roi=selectROI("tracker",frame);
 
 //quit if ROI was not selected
 if(roi.width==0 || roi.height==0)
 return 0;
 
 // initialize the tracker
  tracker->init(frame,roi);
 
 // perform the tracking process
  printf("Start the tracking process, press ESC to quit.\n");
 for ( ;; ){
 // get frame from the video
    cap >> frame;
 
 // stop the program if no more images
 if(frame.rows==0 || frame.cols==0)
 break;
 
 // update the tracking result
    tracker->update(frame,roi);
 
 // draw the tracked object
    rectangle( frame, roi, Scalar( 255, 0, 0 ), 2, 1 );
 
 // show image with the tracked object
    imshow("tracker",frame);
 
 //quit on ESC button
 if(waitKey(1)==27)break;
  }
 
 return 0;
}
 
void sobelExtractor(const Mat img, const Rect roi, Mat& feat){
 Mat sobel[2];
 Mat patch;
 Rect region=roi;
 
 // extract patch inside the image
 if(roi.x<0){region.x=0;region.width+=roi.x;}
 if(roi.y<0){region.y=0;region.height+=roi.y;}
 if(roi.x+roi.width>img.cols)region.width=img.cols-roi.x;
 if(roi.y+roi.height>img.rows)region.height=img.rows-roi.y;
 if(region.width>img.cols)region.width=img.cols;
 if(region.height>img.rows)region.height=img.rows;
 
    patch=img(region).clone();
 cvtColor(patch,patch, COLOR_BGR2GRAY);
 
 // add some padding to compensate when the patch is outside image border
 int addTop,addBottom, addLeft, addRight;
    addTop=region.y-roi.y;
    addBottom=(roi.height+roi.y>img.rows?roi.height+roi.y-img.rows:0);
    addLeft=region.x-roi.x;
    addRight=(roi.width+roi.x>img.cols?roi.width+roi.x-img.cols:0);
 
 copyMakeBorder(patch,patch,addTop,addBottom,addLeft,addRight,BORDER_REPLICATE);
 
 Sobel(patch, sobel[0], CV_32F,1,0,1);
 Sobel(patch, sobel[1], CV_32F,0,1,1);
 
 merge(sobel,2,feat);
 
    feat=feat/255.0-0.5; // normalize to range -0.5 .. 0.5
}

解説

この部分では、CNトラッカーのカスタム引数を設定し、独自の特徴抽出関数を使用する方法を説明する。cv::Tracker の使用に関するより詳細な情報が必要な場合は、OpenCV Tracker入門を参照すること。

カスタム引数の設定

TrackerKCF::Params param;

param.desc_pca = TrackerKCF::GRAY | TrackerKCF::CN;

param.desc_npca = 0;

param.compress_feature = true;

param.compressed_size = 2;

カスタム引数を設定するには、オブジェクトを作成する必要がある。各トラッカーアルゴリズムは独自の引数形式を持つ。したがって、この場合はこのトラッカーアルゴリズムの引数を変更することに関心があるため、cv::TrackerKCF の引数を使用するべきである。

cv::TrackerKCF::Params で説明されているように、設定可能な引数がいくつかある。このチュートリアルでは、特徴抽出関数に焦点を当てた。

cv::TrackerKCF ではいくつかの特徴の種類を利用できる。ここでは、グレースケール値 (1次元) と color-names 特徴 (10次元) を結合して11次元の特徴とし、その後コード中で指定したように2次元に圧縮する。

別の種類の定義済み特徴抽出関数を使いたい場合は、cv::TrackerKCF::MODE を確認するとよい。ここではカスタマイズした関数を使いたいので、非圧縮の特徴は0のままにしておく。
カスタム関数を使う

CNトラッカー用に独自の特徴抽出関数を定義できる。ただし、いくつか注意すべき点がある。
- 抽出される特徴は、与えられたバウンディングボックスのサイズ (幅と高さ) と同じサイズでなければならない。チャンネル数については cv::Mat の制約を確認するとよい。
- ユークリッド距離で比較できる特徴のみ使用できる。local binary pattern (LBP) のような特徴はハミング距離で比較すべきものなので、適していない可能性がある。
抽出される特徴のサイズは与えられたバウンディングボックスと同じサイズである必要があるため、バウンディングボックスが部分的に範囲外にある場合には注意が必要である。この場合、下のコードスニペットに示すように、バウンディングボックスに含まれる画像の一部をコピーすればよい。

// extract patch inside the image

if(roi.x<0){region.x=0;region.width+=roi.x;}

if(roi.y<0){region.y=0;region.height+=roi.y;}

if(roi.x+roi.width>img.cols)region.width=img.cols-roi.x;

if(roi.y+roi.height>img.rows)region.height=img.rows-roi.y;

if(region.width>img.cols)region.width=img.cols;

if(region.height>img.rows)region.height=img.rows;

コピーした画像が与えられたバウンディングボックスより小さい場合は、バウンディングボックスが部分的にフレーム外にある側にパディングを与える必要がある。

// add some padding to compensate when the patch is outside image border

int addTop,addBottom, addLeft, addRight;

addTop=region.y-roi.y;

addBottom=(roi.height+roi.y>img.rows?roi.height+roi.y-img.rows:0);

addLeft=region.x-roi.x;

addRight=(roi.width+roi.x>img.cols?roi.width+roi.x-img.cols:0);

copyMakeBorder(patch,patch,addTop,addBottom,addLeft,addRight,BORDER_REPLICATE);
特徴の定義

このチュートリアルでは、抽出される特徴はx方向とy方向のSobelフィルタの応答である。これらのSobelフィルタの応答を連結し、2チャンネルの特徴となる。

Sobel(patch, sobel[0], CV_32F,1,0,1);

Sobel(patch, sobel[1], CV_32F,0,1,1);

merge(sobel,2,feat);
後処理

特徴を -0.5 から 0.5 の範囲に正規化することを忘れないこと

feat=feat/255.0-0.5; // normalize to range -0.5 .. 0.5