バックプロジェクション

目次

• 目標
• Theory
  • バックプロジェクションとは?
  • どのように動作するのか?
• コード
• 説明
• 結果

前のチュートリアル: ヒストグラムの比較
次のチュートリアル: テンプレートマッチング

原著者	Ana Huamán
互換性	OpenCV >= 3.0

目標

このチュートリアルでは以下を学ぶ:

• バックプロジェクションとは何か、そしてなぜ有用なのか
• バックプロジェクションを計算するためにOpenCVの関数 cv::calcBackProject を使う方法
• OpenCVの関数 cv::mixChannels を使って画像の異なるチャンネルを混合する方法

理論

バックプロジェクションとは?

• バックプロジェクションは、与えられた画像のピクセルがヒストグラムモデルのピクセル分布にどれだけ適合するかを記録する手法である。
• より簡単に言うと: バックプロジェクションでは、ある特徴のヒストグラムモデルを計算し、それを使って画像内でその特徴を見つける。
• 応用例: 肌の色のヒストグラム（たとえば色相-彩度ヒストグラム）を持っていれば、それを使って画像内の肌色の領域を見つけられる:

どのように動作するのか?

• 肌の例を使ってこれを説明する:
• 下の画像をもとに肌のヒストグラム (Hue-Saturation) が得られているとする。横に示すヒストグラムはモデルヒストグラム (肌の色合いのサンプルを表すと分かっているもの) となる。肌の領域のヒストグラムだけを取り出すために、あるマスクを適用している:

• 次に、下のような別の手の画像 (テスト画像) が得られたとする (それぞれのヒストグラム付き):

• What we want to do is to use our model histogram (that we know represents a skin tonality) to detect skin areas in our Test Image. Here are the steps
  1. テスト画像の各ピクセル (すなわち \(p(i,j)\) ) について、データを集め、そのピクセルに対応するビン位置 (すなわち \(( h_{i,j}, s_{i,j} )\) ) を求める。
  2. 対応するビン - \(( h_{i,j}, s_{i,j} )\) - についてモデルヒストグラムを参照し、そのビンの値を読み取る。
  3. このビンの値を新しい画像 (BackProjection) に格納する。また、テスト画像に対する出力が見やすくなるよう、あらかじめモデルヒストグラムを正規化しておくとよい。
  4. 上記の手順を適用すると、テスト画像に対して次のようなBackProjection画像が得られる:

1. 統計的には、BackProjectionに格納された値は、使用するモデルヒストグラムに基づいて、テスト画像のピクセルが肌の領域に属する確率を表す。たとえば今回のテスト画像では、明るい領域ほど肌の領域である確率が高く (実際にそうである)、暗い領域ほど確率が低い (これらの「暗い」領域は影のかかった面に属しており、それが検出に影響していることに注意)。

コード

• What does this program do?
  • 画像を読み込む
  • 元画像をHSV形式に変換し、ヒストグラムに使用するためにHueチャンネルだけを分離する (OpenCVの関数 cv::mixChannels を使用)
  • ヒストグラムの計算に使用するビン数をユーザーに入力させる。
  • 同じ画像のヒストグラム (ビンが変化したら更新する) とバックプロジェクションを計算する。
  • バックプロジェクションとヒストグラムをウィンドウに表示する。

C++

• Downloadable code:
  • 基本バージョン (このチュートリアルで説明) はここをクリック。
  • もう少し高度なもの (H-SヒストグラムとfloodFillを用いて肌領域のマスクを定義する) については、改良版デモを参照できる
  • ...または、samples内の古典的なcamshiftdemoをいつでも確認できる。
• コード一覧:

   
  #include "opencv2/imgproc.hpp"
  #include "opencv2/imgcodecs.hpp"
  #include "opencv2/highgui.hpp"
   
  #include <iostream>
   
  using namespace cv;
  using namespace std;
   
  Mat hue;
  int bins = 25;
   
  void Hist_and_Backproj(int, void* );
   
  int main( int argc, char* argv[] )
  {
   CommandLineParser parser( argc, argv, "{@input |Back_Projection_Theory0.jpg| input image}" );
   samples::addSamplesDataSearchSubDirectory("doc/tutorials/imgproc/histograms/back_projection/images");
   Mat src = imread(samples::findFile(parser.get<String>( "@input" )) );
   if( src.empty() )
   {
   cout << "Could not open or find the image!\n" << endl;
   cout << "Usage: " << argv[0] << " <Input image>" << endl;
   return -1;
   }
   
   Mat hsv;
   cvtColor( src, hsv, COLOR_BGR2HSV );
   
   hue.create(hsv.size(), hsv.depth());
   int ch[] = { 0, 0 };
   mixChannels( &hsv, 1, &hue, 1, ch, 1 );
   
   const char* window_image = "Source image";
   namedWindow( window_image );
   createTrackbar("* Hue bins: ", window_image, &bins, 180, Hist_and_Backproj );
   Hist_and_Backproj(0, 0);
   
   imshow( window_image, src );
   // Wait until user exits the program
   waitKey();
   
   return 0;
  }
   
  void Hist_and_Backproj(int, void* )
  {
   int histSize = MAX( bins, 2 );
   float hue_range[] = { 0, 180 };
   const float* ranges[] = { hue_range };
   
   Mat hist;
   calcHist( &hue, 1, 0, Mat(), hist, 1, &histSize, ranges, true, false );
   normalize( hist, hist, 0, 255, NORM_MINMAX, -1, Mat() );
   
   Mat backproj;
   calcBackProject( &hue, 1, 0, hist, backproj, ranges, 1, true );
   
   imshow( "BackProj", backproj );
   
   int w = 400, h = 400;
   int bin_w = cvRound( (double) w / histSize );
   Mat histImg = Mat::zeros( h, w, CV_8UC3 );
   
   for (int i = 0; i < bins; i++)
   {
   rectangle( histImg, Point( i*bin_w, h ), Point( (i+1)*bin_w, h - cvRound( hist.at<float>(i)*h/255.0 ) ),
   Scalar( 0, 0, 255 ), FILLED );
   }
   
   imshow( "Histogram", histImg );
  }

Java

• Downloadable code:
  • 基本バージョン (このチュートリアルで説明) はここをクリック。
  • もう少し高度なもの (H-SヒストグラムとfloodFillを用いて肌領域のマスクを定義する) については、改良版デモを参照できる
  • ...または、samples内の古典的なcamshiftdemoをいつでも確認できる。
• コード一覧:

  import java.awt.BorderLayout;
  import java.awt.Container;
  import java.awt.Image;
  import java.util.Arrays;
  import java.util.List;
   
  import javax.swing.BoxLayout;
  import javax.swing.ImageIcon;
  import javax.swing.JFrame;
  import javax.swing.JLabel;
  import javax.swing.JPanel;
  import javax.swing.JSlider;
  import javax.swing.event.ChangeEvent;
  import javax.swing.event.ChangeListener;
   
  import org.opencv.core.Core;
  import org.opencv.core.CvType;
  import org.opencv.core.Mat;
  import org.opencv.core.MatOfFloat;
  import org.opencv.core.MatOfInt;
  import org.opencv.core.Point;
  import org.opencv.core.Scalar;
  import org.opencv.highgui.HighGui;
  import org.opencv.imgcodecs.Imgcodecs;
  import org.opencv.imgproc.Imgproc;
   
  class CalcBackProject1 {
   private Mat hue;
   private Mat histImg = new Mat();
   private JFrame frame;
   private JLabel imgLabel;
   private JLabel backprojLabel;
   private JLabel histImgLabel;
   private static final int MAX_SLIDER = 180;
   private int bins = 25;
   
   public CalcBackProject1(String[] args) {
   if (args.length != 1) {
   System.err.println("You must supply one argument that corresponds to the path to the image.");
   System.exit(0);
   }
   
   Mat src = Imgcodecs.imread(args[0]);
   if (src.empty()) {
   System.err.println("Empty image: " + args[0]);
   System.exit(0);
   }
   
   Mat hsv = new Mat();
   Imgproc.cvtColor(src, hsv, Imgproc.COLOR_BGR2HSV);
   
   hue = new Mat(hsv.size(), hsv.depth());
   Core.mixChannels(Arrays.asList(hsv), Arrays.asList(hue), new MatOfInt(0, 0));
   
   // Create and set up the window.
   frame = new JFrame("Back Projection 1 demo");
   frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
   // Set up the content pane.
   Image img = HighGui.toBufferedImage(src);
   addComponentsToPane(frame.getContentPane(), img);
   // Use the content pane's default BorderLayout. No need for
   // setLayout(new BorderLayout());
   // Display the window.
   frame.pack();
   frame.setVisible(true);
   }
   
   private void addComponentsToPane(Container pane, Image img) {
   if (!(pane.getLayout() instanceof BorderLayout)) {
   pane.add(new JLabel("Container doesn't use BorderLayout!"));
   return;
   }
   
   JPanel sliderPanel = new JPanel();
   sliderPanel.setLayout(new BoxLayout(sliderPanel, BoxLayout.PAGE_AXIS));
   
   sliderPanel.add(new JLabel("* Hue bins: "));
   JSlider slider = new JSlider(0, MAX_SLIDER, bins);
   slider.setMajorTickSpacing(25);
   slider.setMinorTickSpacing(5);
   slider.setPaintTicks(true);
   slider.setPaintLabels(true);
   slider.addChangeListener(new ChangeListener() {
   @Override
   public void stateChanged(ChangeEvent e) {
   JSlider source = (JSlider) e.getSource();
   bins = source.getValue();
   update();
   }
   });
   sliderPanel.add(slider);
   pane.add(sliderPanel, BorderLayout.PAGE_START);
   
   JPanel imgPanel = new JPanel();
   imgLabel = new JLabel(new ImageIcon(img));
   imgPanel.add(imgLabel);
   
   backprojLabel = new JLabel();
   imgPanel.add(backprojLabel);
   
   histImgLabel = new JLabel();
   imgPanel.add(histImgLabel);
   pane.add(imgPanel, BorderLayout.CENTER);
   }
   
   private void update() {
   int histSize = Math.max(bins, 2);
   float[] hueRange = {0, 180};
   
   Mat hist = new Mat();
   List<Mat> hueList = Arrays.asList(hue);
   Imgproc.calcHist(hueList, new MatOfInt(0), new Mat(), hist, new MatOfInt(histSize), new MatOfFloat(hueRange), false);
   Core.normalize(hist, hist, 0, 255, Core.NORM_MINMAX);
   
   Mat backproj = new Mat();
   Imgproc.calcBackProject(hueList, new MatOfInt(0), hist, backproj, new MatOfFloat(hueRange), 1);
   
   Image backprojImg = HighGui.toBufferedImage(backproj);
   backprojLabel.setIcon(new ImageIcon(backprojImg));
   
   int w = 400, h = 400;
   int binW = (int) Math.round((double) w / histSize);
   histImg = Mat.zeros(h, w, CvType.CV_8UC3);
   
   float[] histData = new float[(int) (hist.total() * hist.channels())];
   hist.get(0, 0, histData);
   for (int i = 0; i < bins; i++) {
   Imgproc.rectangle(histImg, new Point(i * binW, h),
   new Point((i + 1) * binW, h - Math.round(histData[i] * h / 255.0)), new Scalar(0, 0, 255), Imgproc.FILLED);
   }
   Image histImage = HighGui.toBufferedImage(histImg);
   histImgLabel.setIcon(new ImageIcon(histImage));
   
   frame.repaint();
   frame.pack();
   }
  }
   
  public class CalcBackProjectDemo1 {
   public static void main(String[] args) {
   // Load the native OpenCV library
   System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
   
   // Schedule a job for the event dispatch thread:
   // creating and showing this application's GUI.
   javax.swing.SwingUtilities.invokeLater(new Runnable() {
   @Override
   public void run() {
   new CalcBackProject1(args);
   }
   });
   }
  }

Python

• Downloadable code:
  • 基本バージョン (このチュートリアルで説明) はここをクリック。
  • もう少し高度なもの (H-SヒストグラムとfloodFillを用いて肌領域のマスクを定義する) については、改良版デモを参照できる
  • ...または、samples内の古典的なcamshiftdemoをいつでも確認できる。
• コード全体:

  from __future__ import print_function
  from __future__ import division
  import cv2 as cv
  import numpy as np
  import argparse
   
  def Hist_and_Backproj(val):
   
   bins = val
   histSize = max(bins, 2)
   ranges = [0, 180] # hue_range
   
   
   
   hist = cv.calcHist([hue], [0], None, [histSize], ranges, accumulate=False)
   cv.normalize(hist, hist, alpha=0, beta=255, norm_type=cv.NORM_MINMAX)
   
   
   
   backproj = cv.calcBackProject([hue], [0], hist, ranges, scale=1)
   
   
   
   cv.imshow('BackProj', backproj)
   
   
   
   w = 400
   h = 400
   bin_w = int(round(w / histSize))
   histImg = np.zeros((h, w, 3), dtype=np.uint8)
   
   for i in range(bins):
   cv.rectangle(histImg, (i*bin_w, h), ( (i+1)*bin_w, h - int(np.round( hist[i]*h/255.0 )) ), (0, 0, 255), cv.FILLED)
   
   cv.imshow('Histogram', histImg)
   
   
   
  parser = argparse.ArgumentParser(description='Code for Back Projection tutorial.')
  parser.add_argument('--input', help='Path to input image.', default='home.jpg')
  args = parser.parse_args()
   
  src = cv.imread(cv.samples.findFile(args.input))
  if src is None:
   print('Could not open or find the image:', args.input)
   exit(0)
   
   
   
  hsv = cv.cvtColor(src, cv.COLOR_BGR2HSV)
   
   
   
  ch = (0, 0)
  hue = np.empty(hsv.shape, hsv.dtype)
  cv.mixChannels([hsv], [hue], ch)
   
   
   
  window_image = 'Source image'
  cv.namedWindow(window_image)
  bins = 25
  cv.createTrackbar('* Hue bins: ', window_image, bins, 180, Hist_and_Backproj )
  Hist_and_Backproj(bins)
   
   
   
  cv.imshow(window_image, src)
  cv.waitKey()
   

説明

• 入力画像を読み込む:

  C++

   CommandLineParser parser( argc, argv, "{@input |Back_Projection_Theory0.jpg| input image}" );
      samples::addSamplesDataSearchSubDirectory("doc/tutorials/imgproc/histograms/back_projection/images");
   Mat src = imread(samples::findFile(parser.get<String>( "@input" )) );
   if( src.empty() )
      {
          cout << "Could not open or find the image!\n" << endl;
          cout << "Usage: " << argv[0] << " <Input image>" << endl;
   return -1;
      }

  Java

   if (args.length != 1) {
              System.err.println("You must supply one argument that corresponds to the path to the image.");
              System.exit(0);
          }
   
          Mat src = Imgcodecs.imread(args[0]);
   if (src.empty()) {
              System.err.println("Empty image: " + args[0]);
              System.exit(0);
          }

  Python

  parser = argparse.ArgumentParser(description='Code for Back Projection tutorial.')
  parser.add_argument('--input', help='Path to input image.', default='home.jpg')
  args = parser.parse_args()
   
  src = cv.imread(cv.samples.findFile(args.input))
  if src is None:
      print('Could not open or find the image:', args.input)
      exit(0)

• HSV形式に変換する:

  C++

   Mat hsv;
   cvtColor( src, hsv, COLOR_BGR2HSV );

  Java

          Mat hsv = new Mat();
          Imgproc.cvtColor(src, hsv, Imgproc.COLOR_BGR2HSV);

  Python

  hsv = cv.cvtColor(src, cv.COLOR_BGR2HSV)

• 本チュートリアルでは、1次元ヒストグラムにHue値のみを使用する (より標準的なH-Sヒストグラムを使えばより良い結果が得られる。それを試したい場合は上記リンクの凝ったコードを参照):

  C++

      hue.create(hsv.size(), hsv.depth());
   int ch[] = { 0, 0 };
   mixChannels( &hsv, 1, &hue, 1, ch, 1 );

  Java

          hue = new Mat(hsv.size(), hsv.depth());
          Core.mixChannels(Arrays.asList(hsv), Arrays.asList(hue), new MatOfInt(0, 0));

  Python

  ch = (0, 0)
  hue = np.empty(hsv.shape, hsv.dtype)
  cv.mixChannels([hsv], [hue], ch)

• as you see, we use the function cv::mixChannels to get only the channel 0 (Hue) from the hsv image. It gets the following parameters:
  • &hsv: チャンネルのコピー元となる元配列
  • 1: 元配列の数
  • &hue: コピーされたチャンネルの格納先配列
  • 1: 格納先配列の数
  • ch[] = {0,0}: チャンネルをどうコピーするかを示すインデックス対の配列。この場合、&hsv のHue(0)チャンネルが &hue (1チャンネル) の0チャンネルにコピーされる
  • 1: インデックス対の数

• ユーザーがビン値を入力するためのトラックバーを作成する。トラックバーが変化するたびにコールバック関数 Hist_and_Backproj が呼び出される。

  C++

   const char* window_image = "Source image";
   namedWindow( window_image );
   createTrackbar("* Hue  bins: ", window_image, &bins, 180, Hist_and_Backproj );
      Hist_and_Backproj(0, 0);

  Java

          JPanel sliderPanel = new JPanel();
          sliderPanel.setLayout(new BoxLayout(sliderPanel, BoxLayout.PAGE_AXIS));
   
          sliderPanel.add(new JLabel("* Hue  bins: "));
          JSlider slider = new JSlider(0, MAX_SLIDER, bins);
          slider.setMajorTickSpacing(25);
          slider.setMinorTickSpacing(5);
          slider.setPaintTicks(true);
          slider.setPaintLabels(true);
          slider.addChangeListener(new ChangeListener() {
              @Override
   public void stateChanged(ChangeEvent e) {
                  JSlider source = (JSlider) e.getSource();
                  bins = source.getValue();
                  update();
              }
          });
          sliderPanel.add(slider);
          pane.add(sliderPanel, BorderLayout.PAGE_START);

  Python

  window_image = 'Source image'
  cv.namedWindow(window_image)
  bins = 25
  cv.createTrackbar('* Hue  bins: ', window_image, bins, 180, Hist_and_Backproj )
  Hist_and_Backproj(bins)

• 画像を表示し、ユーザーがプログラムを終了するのを待つ:

  C++

   imshow( window_image, src );
   // Wait until user exits the program
   waitKey();

  Java

   // Use the content pane's default BorderLayout. No need for
   // setLayout(new BorderLayout());
   // Display the window.
          frame.pack();
          frame.setVisible(true);

  Python

  cv.imshow(window_image, src)
  cv.waitKey()

• Hist_and_Backproj関数: cv::calcHist に必要な引数を初期化する。ビン数はトラックバーから得られる:

  C++

   int histSize = MAX( bins, 2 );
   float hue_range[] = { 0, 180 };
   const float* ranges[] = { hue_range };

  Java

   int histSize = Math.max(bins, 2);
   float[] hueRange = {0, 180};

  Python

      bins = val
      histSize = max(bins, 2)
      ranges = [0, 180] # hue_range

• ヒストグラムを計算し、範囲 \([0,255]\) に正規化する

  C++

   Mat hist;
   calcHist( &hue, 1, 0, Mat(), hist, 1, &histSize, ranges, true, false );
   normalize( hist, hist, 0, 255, NORM_MINMAX, -1, Mat() );

  Java

          Mat hist = new Mat();
          List<Mat> hueList = Arrays.asList(hue);
          Imgproc.calcHist(hueList, new MatOfInt(0), new Mat(), hist, new MatOfInt(histSize), new MatOfFloat(hueRange), false);
          Core.normalize(hist, hist, 0, 255, Core.NORM_MINMAX);

  Python

      hist = cv.calcHist([hue], [0], None, [histSize], ranges, accumulate=False)
   cv.normalize(hist, hist, alpha=0, beta=255, norm_type=cv.NORM_MINMAX)

• 関数 cv::calcBackProject を呼び出して、同じ画像のバックプロジェクションを取得する

  C++

   Mat backproj;
   calcBackProject( &hue, 1, 0, hist, backproj, ranges, 1, true );

  Java

          Mat backproj = new Mat();
          Imgproc.calcBackProject(hueList, new MatOfInt(0), hist, backproj, new MatOfFloat(hueRange), 1);

  Python

      backproj = cv.calcBackProject([hue], [0], hist, ranges, scale=1)

• 引数はすべて既知である (ヒストグラムの計算に使ったものと同じ)。追加するのは backproj 行列だけで、これに元画像 (&hue) のバックプロジェクションが格納される

• backprojを表示する:

  C++

   imshow( "BackProj", backproj );

  Java

          Image backprojImg = HighGui.toBufferedImage(backproj);
          backprojLabel.setIcon(new ImageIcon(backprojImg));

  Python

   cv.imshow('BackProj', backproj)

• 画像の1次元Hueヒストグラムを描画する:

  C++

   int w = 400, h = 400;
   int bin_w = cvRound( (double) w / histSize );
   Mat histImg = Mat::zeros( h, w, CV_8UC3 );
   
   for (int i = 0; i < bins; i++)
      {
   rectangle( histImg, Point( i*bin_w, h ), Point( (i+1)*bin_w, h - cvRound( hist.at<float>(i)*h/255.0 ) ),
   Scalar( 0, 0, 255 ), FILLED );
      }
   
   imshow( "Histogram", histImg );

  Java

   int w = 400, h = 400;
   int binW = (int) Math.round((double) w / histSize);
          histImg = Mat.zeros(h, w, CvType.CV_8UC3);
   
   float[] histData = new float[(int) (hist.total() * hist.channels())];
          hist.get(0, 0, histData);
   for (int i = 0; i < bins; i++) {
              Imgproc.rectangle(histImg, new Point(i * binW, h),
   new Point((i + 1) * binW, h - Math.round(histData[i] * h / 255.0)), new Scalar(0, 0, 255), Imgproc.FILLED);
          }
          Image histImage = HighGui.toBufferedImage(histImg);
          histImgLabel.setIcon(new ImageIcon(histImage));

  Python

      w = 400
      h = 400
      bin_w = int(round(w / histSize))
      histImg = np.zeros((h, w, 3), dtype=np.uint8)
   
   for i in range(bins):
   cv.rectangle(histImg, (i*bin_w, h), ( (i+1)*bin_w, h - int(np.round( hist[i]*h/255.0 )) ), (0, 0, 255), cv.FILLED)
   
   cv.imshow('Histogram', histImg)

結果

サンプル画像 (何だと思う? また別の手だ) を使った出力を以下に示す。ビン値を変えて遊んでみると、結果にどう影響するかが観察できる: