背景差分法の使い方

目次

• Goals
  • コード
• 解説
• 結果
• 参考文献

前のチュートリアル: 高レベルのスティッチングAPI (Stitcher クラス)
次のチュートリアル: MeanshiftとCamshift

原著者	Domenico Daniele Bloisi
互換性	OpenCV >= 3.0

• 背景差分 (Background subtraction, BS) は、固定カメラを用いて前景マスク (foreground mask、すなわちシーン中の動いている物体に属するピクセルを含む2値画像) を生成するために広く使われている一般的な手法である。
• その名のとおり、BSは現在のフレームと背景モデルとの差分を計算して前景マスクを求める。背景モデルにはシーンの静的な部分、あるいはより一般的には観測対象シーンの特性から背景とみなせるあらゆるものが含まれる。

• 背景モデリングは、主に次の2つのステップから成る。

  1. 背景の初期化 (Background Initialization)
  2. 背景の更新 (Background Update)

  最初のステップでは背景の初期モデルを計算し、2番目のステップではシーンに起こりうる変化に適応させるためにそのモデルを更新する。

• このチュートリアルでは、OpenCVを用いてBSを行う方法を学ぶ。

目標

このチュートリアルでは、以下の方法を学ぶ:

1. cv::VideoCapture を用いて動画または画像シーケンスからデータを読み込む。
2. cv::BackgroundSubtractor クラスを用いて背景モデルを作成・更新する。
3. cv::imshow を用いて前景マスクを取得・表示する。

コード

以下にソースコードを示す。ユーザーが動画ファイルと画像シーケンスのどちらを処理するか選択できるようにする。

このサンプルでは前景マスクの生成に cv::BackgroundSubtractorMOG2 を使用する。

結果と入力データの両方が画面に表示される。

C++

• ダウンロード可能なコード: こちらをクリック
• コード一覧:

   
  #include <iostream>
  #include <sstream>
  #include <opencv2/imgcodecs.hpp>
  #include <opencv2/imgproc.hpp>
  #include <opencv2/videoio.hpp>
  #include <opencv2/highgui.hpp>
  #include <opencv2/video.hpp>
   
  using namespace cv;
  using namespace std;
   
  const char* params
   = "{ help h | | Print usage }"
   "{ input | vtest.avi | Path to a video or a sequence of image }"
   "{ algo | MOG2 | Background subtraction method (KNN, MOG2) }";
   
  int main(int argc, char* argv[])
  {
   CommandLineParser parser(argc, argv, params);
   parser.about( "This program shows how to use background subtraction methods provided by "
   " OpenCV. You can process both videos and images.\n" );
   if (parser.has("help"))
   {
   //print help information
   parser.printMessage();
   }
   
   //create Background Subtractor objects
   Ptr<BackgroundSubtractor> pBackSub;
   if (parser.get<String>("algo") == "MOG2")
   pBackSub = createBackgroundSubtractorMOG2();
   else
   pBackSub = createBackgroundSubtractorKNN();
   
   VideoCapture capture( samples::findFile( parser.get<String>("input") ) );
   if (!capture.isOpened()){
   //error in opening the video input
   cerr << "Unable to open: " << parser.get<String>("input") << endl;
   return 0;
   }
   
   Mat frame, fgMask;
   while (true) {
   capture >> frame;
   if (frame.empty())
   break;
   
   //update the background model
   pBackSub->apply(frame, fgMask);
   
   //get the frame number and write it on the current frame
   rectangle(frame, cv::Point(10, 2), cv::Point(100,20),
   cv::Scalar(255,255,255), -1);
   stringstream ss;
   ss << capture.get(CAP_PROP_POS_FRAMES);
   string frameNumberString = ss.str();
   putText(frame, frameNumberString.c_str(), cv::Point(15, 15),
   FONT_HERSHEY_SIMPLEX, 0.5 , cv::Scalar(0,0,0));
   
   //show the current frame and the fg masks
   imshow("Frame", frame);
   imshow("FG Mask", fgMask);
   
   //get the input from the keyboard
   int keyboard = waitKey(30);
   if (keyboard == 'q' || keyboard == 27)
   break;
   }
   
   return 0;
  }

Java

• ダウンロード可能なコード: こちらをクリック
• コード一覧:

  import org.opencv.core.Core;
  import org.opencv.core.Mat;
  import org.opencv.core.Point;
  import org.opencv.core.Scalar;
  import org.opencv.highgui.HighGui;
  import org.opencv.imgproc.Imgproc;
  import org.opencv.video.BackgroundSubtractor;
  import org.opencv.video.Video;
  import org.opencv.videoio.VideoCapture;
  import org.opencv.videoio.Videoio;
   
  class BackgroundSubtraction {
   public void run(String[] args) {
   String input = args.length > 0 ? args[0] : "../data/vtest.avi";
   boolean useMOG2 = args.length > 1 ? args[1] == "MOG2" : true;
   
   BackgroundSubtractor backSub;
   if (useMOG2) {
   backSub = Video.createBackgroundSubtractorMOG2();
   } else {
   backSub = Video.createBackgroundSubtractorKNN();
   }
   
   VideoCapture capture = new VideoCapture(input);
   if (!capture.isOpened()) {
   System.err.println("Unable to open: " + input);
   System.exit(0);
   }
   
   Mat frame = new Mat(), fgMask = new Mat();
   while (true) {
   capture.read(frame);
   if (frame.empty()) {
   break;
   }
   
   // update the background model
   backSub.apply(frame, fgMask);
   
   // get the frame number and write it on the current frame
   Imgproc.rectangle(frame, new Point(10, 2), new Point(100, 20), new Scalar(255, 255, 255), -1);
   String frameNumberString = String.format("%d", (int)capture.get(Videoio.CAP_PROP_POS_FRAMES));
   Imgproc.putText(frame, frameNumberString, new Point(15, 15), Core.FONT_HERSHEY_SIMPLEX, 0.5,
   new Scalar(0, 0, 0));
   
   // show the current frame and the fg masks
   HighGui.imshow("Frame", frame);
   HighGui.imshow("FG Mask", fgMask);
   
   // get the input from the keyboard
   int keyboard = HighGui.waitKey(30);
   if (keyboard == 'q' || keyboard == 27) {
   break;
   }
   }
   
   HighGui.waitKey();
   System.exit(0);
   }
  }
   
  public class BackgroundSubtractionDemo {
   public static void main(String[] args) {
   // Load the native OpenCV library
   System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
   
   new BackgroundSubtraction().run(args);
   }
  }

Python

• ダウンロード可能なコード: こちらをクリック
• コード一覧:

  from __future__ import print_function
  import cv2 as cv
  import argparse
   
  parser = argparse.ArgumentParser(description='This program shows how to use background subtraction methods provided by \
   OpenCV. You can process both videos and images.')
  parser.add_argument('--input', type=str, help='Path to a video or a sequence of image.', default='vtest.avi')
  parser.add_argument('--algo', type=str, help='Background subtraction method (KNN, MOG2).', default='MOG2')
  args = parser.parse_args()
   
   
  if args.algo == 'MOG2':
   backSub = cv.createBackgroundSubtractorMOG2()
  else:
   backSub = cv.createBackgroundSubtractorKNN()
   
   
   
  capture = cv.VideoCapture(cv.samples.findFileOrKeep(args.input))
  if not capture.isOpened():
   print('Unable to open: ' + args.input)
   exit(0)
   
   
  while True:
   ret, frame = capture.read()
   if frame is None:
   break
   
   
   fgMask = backSub.apply(frame)
   
   
   
   cv.rectangle(frame, (10, 2), (100,20), (255,255,255), -1)
   cv.putText(frame, str(capture.get(cv.CAP_PROP_POS_FRAMES)), (15, 15),
   cv.FONT_HERSHEY_SIMPLEX, 0.5 , (0,0,0))
   
   
   
   cv.imshow('Frame', frame)
   cv.imshow('FG Mask', fgMask)
   
   
   keyboard = cv.waitKey(30)
   if keyboard == 'q' or keyboard == 27:
   break

解説

上記コードの主要な部分について説明する。

• 前景マスクの生成には cv::BackgroundSubtractor オブジェクトを使用する。この例ではデフォルトのパラメータを使用しているが、create関数で特定のパラメータを指定することも可能である。

C++

 //create Background Subtractor objects
 Ptr<BackgroundSubtractor> pBackSub;
 if (parser.get<String>("algo") == "MOG2")
        pBackSub = createBackgroundSubtractorMOG2();
 else
        pBackSub = createBackgroundSubtractorKNN();

Java

 BackgroundSubtractor backSub;
 if (useMOG2) {
            backSub = Video.createBackgroundSubtractorMOG2();
        } else {
            backSub = Video.createBackgroundSubtractorKNN();
        }

Python

if args.algo == 'MOG2':
    backSub = cv.createBackgroundSubtractorMOG2()
else:
    backSub = cv.createBackgroundSubtractorKNN()

• 入力動画または入力画像シーケンスの読み込みには cv::VideoCapture オブジェクトを使用する。

C++

 VideoCapture capture( samples::findFile( parser.get<String>("input") ) );
 if (!capture.isOpened()){
 //error in opening the video input
        cerr << "Unable to open: " << parser.get<String>("input") << endl;
 return 0;
    }

Java

        VideoCapture capture = new VideoCapture(input);
 if (!capture.isOpened()) {
            System.err.println("Unable to open: " + input);
            System.exit(0);
        }

Python

capture = cv.VideoCapture(cv.samples.findFileOrKeep(args.input))
if not capture.isOpened():
    print('Unable to open: ' + args.input)
    exit(0)

• 各フレームは前景マスクの計算と背景の更新の両方に使用される。背景モデルの更新に用いる学習率を変更したい場合は、apply メソッドにパラメータを渡すことで特定の学習率を設定できる。

C++

 //update the background model
        pBackSub->apply(frame, fgMask);

Java

 // update the background model
            backSub.apply(frame, fgMask);

Python

    fgMask = backSub.apply(frame)

• 現在のフレーム番号は cv::VideoCapture オブジェクトから取得でき、現在のフレームの左上隅に描画される。黒色のフレーム番号を見やすくするために白い矩形を使用している。

C++

 //get the frame number and write it on the current frame
 rectangle(frame, cv::Point(10, 2), cv::Point(100,20),
 cv::Scalar(255,255,255), -1);
        stringstream ss;
        ss << capture.get(CAP_PROP_POS_FRAMES);
 string frameNumberString = ss.str();
 putText(frame, frameNumberString.c_str(), cv::Point(15, 15),
                FONT_HERSHEY_SIMPLEX, 0.5 , cv::Scalar(0,0,0));

Java

 // get the frame number and write it on the current frame
            Imgproc.rectangle(frame, new Point(10, 2), new Point(100, 20), new Scalar(255, 255, 255), -1);
 String frameNumberString = String.format("%d", (int)capture.get(Videoio.CAP_PROP_POS_FRAMES));
            Imgproc.putText(frame, frameNumberString, new Point(15, 15), Core.FONT_HERSHEY_SIMPLEX, 0.5,
 new Scalar(0, 0, 0));

Python

 cv.rectangle(frame, (10, 2), (100,20), (255,255,255), -1)
 cv.putText(frame, str(capture.get(cv.CAP_PROP_POS_FRAMES)), (15, 15),
               cv.FONT_HERSHEY_SIMPLEX, 0.5 , (0,0,0))

• これで現在の入力フレームと結果を表示する準備が整った。

C++

 //show the current frame and the fg masks
 imshow("Frame", frame);
 imshow("FG Mask", fgMask);

Java

 // show the current frame and the fg masks
            HighGui.imshow("Frame", frame);
            HighGui.imshow("FG Mask", fgMask);

Python

 cv.imshow('Frame', frame)
 cv.imshow('FG Mask', fgMask)

結果

• vtest.avi 動画について、次のフレームの場合

MOG2手法の場合、プログラムの出力は次のようになる (灰色の領域は検出された影である)。

KNN手法の場合、プログラムの出力は次のようになる (灰色の領域は検出された影である)。

参考文献

• Background Models Challenge (BMC) のウェブサイト
• 前景/背景抽出のためのベンチマークデータセット [286]