Harrisコーナー検出

目次

• 目的
• Theory
  • 特徴とは何か?
  • 画像特徴の種類
  • なぜコーナーは特別なのか?
  • どのように動作するのか?
• コード
• 解説
• 結果

次のチュートリアル: Shi-Tomasiコーナー検出器

原著者	Ana Huamán
互換性	OpenCV >= 3.0

目的

このチュートリアルでは以下を学ぶ:

• 特徴とは何か、そしてなぜそれが重要なのか
• Harris-Stephens法を用いてコーナーを検出するために、関数 cv::cornerHarris を使用する。

理論

特徴とは何か?

• コンピュータビジョンでは、ある環境の異なるフレーム間で対応する点を見つける必要があることが多い。なぜか? 2つの画像が互いにどう関係しているかが分かれば、両方の画像を使ってそれらから情報を抽出できるからである。
• 対応点と言うとき、一般的な意味では、容易に認識できるシーン中の特性を指している。これらの特性を特徴と呼ぶ。
• So, what characteristics should a feature have?
  • それは一意に認識可能でなければならない

画像特徴の種類

いくつか挙げると:

• エッジ
• コーナー (関心点とも呼ばれる)
• ブロブ (関心領域とも呼ばれる)

このチュートリアルでは、特にコーナー特徴について学ぶ。

なぜコーナーは特別なのか?

• なぜなら、コーナーは2つのエッジの交点であり、これら2つのエッジの方向が変化する点を表しているからである。したがって、(両方向における)画像の勾配は大きく変動し、これを利用してコーナーを検出できる。

どのように動作するのか?

• コーナーを探してみよう。コーナーは画像内の勾配の変動を表すので、この「変動」を探すことにする。

• グレースケール画像 \(I\) を考える。ウィンドウ \(w(x,y)\) を (x方向に \(u\)、y方向に \(v\) だけ変位させながら) \(I\) 上で走査し、輝度の変動を計算する。

  \[E(u,v) = \sum _{x,y} w(x,y)[ I(x+u,y+v) - I(x,y)]^{2}\]

  ここで:

  • \(w(x,y)\) は位置 \((x,y)\) におけるウィンドウである
  • \(I(x,y)\) は \((x,y)\) における輝度である
  • \(I(x+u,y+v)\) は移動後のウィンドウ \((x+u,y+v)\) における輝度である

• コーナーを含むウィンドウを探しているので、輝度の変動が大きいウィンドウを探している。したがって、上式、特に次の項を最大化しなければならない:

  \[\sum _{x,y}[ I(x+u,y+v) - I(x,y)]^{2}\]

• テイラー展開を用いると:

  \[E(u,v) \approx \sum _{x,y}[ I(x,y) + u I_{x} + vI_{y} - I(x,y)]^{2}\]

• 式を展開し、適切に打ち消すと:

  \[E(u,v) \approx \sum _{x,y} u^{2}I_{x}^{2} + 2uvI_{x}I_{y} + v^{2}I_{y}^{2}\]

• これは行列形式で次のように表せる:

  \[E(u,v) \approx \begin{bmatrix} u & v \end{bmatrix} \left ( \displaystyle \sum_{x,y} w(x,y) \begin{bmatrix} I_x^{2} & I_{x}I_{y} \\ I_xI_{y} & I_{y}^{2} \end{bmatrix} \right ) \begin{bmatrix} u \\ v \end{bmatrix}\]

• ここで次のように表す:

  \[M = \displaystyle \sum_{x,y} w(x,y) \begin{bmatrix} I_x^{2} & I_{x}I_{y} \\ I_xI_{y} & I_{y}^{2} \end{bmatrix}\]

• したがって、今や式は次のようになる:

  \[E(u,v) \approx \begin{bmatrix} u & v \end{bmatrix} M \begin{bmatrix} u \\ v \end{bmatrix}\]

• コーナーを含む可能性があるかどうかを判定するために、各ウィンドウについてスコアが計算される:

  \[R = det(M) - k(trace(M))^{2}\]

  ここで:

  • det(M) = \(\lambda_{1}\lambda_{2}\)
  • trace(M) = \(\lambda_{1}+\lambda_{2}\)

  スコア \(R\) がある値より大きいウィンドウは「コーナー」とみなされる

コード

C++

このチュートリアルのコードを以下の行に示す。こちらからダウンロードすることもできる

 
#include "opencv2/highgui.hpp"
#include "opencv2/imgproc.hpp"
#include <iostream>
 
using namespace cv;
using namespace std;
 
Mat src, src_gray;
int thresh = 200;
int max_thresh = 255;
 
const char* source_window = "Source image";
const char* corners_window = "Corners detected";
 
void cornerHarris_demo( int, void* );
 
int main( int argc, char** argv )
{
 CommandLineParser parser( argc, argv, "{@input | building.jpg | input image}" );
    src = imread( samples::findFile( parser.get<String>( "@input" ) ) );
 if ( src.empty() )
    {
        cout << "Could not open or find the image!\n" << endl;
        cout << "Usage: " << argv[0] << " <Input image>" << endl;
 return -1;
    }
    cvtColor( src, src_gray, COLOR_BGR2GRAY );
 
    namedWindow( source_window );
    createTrackbar( "Threshold: ", source_window, &thresh, max_thresh, cornerHarris_demo );
    imshow( source_window, src );
 
    cornerHarris_demo( 0, 0 );
 
    waitKey();
 return 0;
}
 
void cornerHarris_demo( int, void* )
{
 int blockSize = 2;
 int apertureSize = 3;
 double k = 0.04;
 
 Mat dst = Mat::zeros( src.size(), CV_32FC1 );
    cornerHarris( src_gray, dst, blockSize, apertureSize, k );
 
 Mat dst_norm, dst_norm_scaled;
    normalize( dst, dst_norm, 0, 255, NORM_MINMAX, CV_32FC1, Mat() );
    convertScaleAbs( dst_norm, dst_norm_scaled );
 
 for( int i = 0; i < dst_norm.rows ; i++ )
    {
 for( int j = 0; j < dst_norm.cols; j++ )
        {
 if( (int) dst_norm.at<float>(i,j) > thresh )
            {
                circle( dst_norm_scaled, Point(j,i), 5,  Scalar(0), 2, 8, 0 );
            }
        }
    }
 
 namedWindow( corners_window );
 imshow( corners_window, dst_norm_scaled );
}

Java

このチュートリアルのコードを以下の行に示す。こちらからダウンロードすることもできる

import java.awt.BorderLayout;
import java.awt.Container;
import java.awt.Image;
 
import javax.swing.BoxLayout;
import javax.swing.ImageIcon;
import javax.swing.JFrame;
import javax.swing.JLabel;
import javax.swing.JPanel;
import javax.swing.JSlider;
import javax.swing.event.ChangeEvent;
import javax.swing.event.ChangeListener;
 
import org.opencv.core.Core;
import org.opencv.core.CvType;
import org.opencv.core.Mat;
import org.opencv.core.Point;
import org.opencv.core.Scalar;
import org.opencv.highgui.HighGui;
import org.opencv.imgcodecs.Imgcodecs;
import org.opencv.imgproc.Imgproc;
 
class CornerHarris {
 private Mat srcGray = new Mat();
 private Mat dst = new Mat();
 private Mat dstNorm = new Mat();
 private Mat dstNormScaled = new Mat();
 private JFrame frame;
 private JLabel imgLabel;
 private JLabel cornerLabel;
 private static final int MAX_THRESHOLD = 255;
 private int threshold = 200;
 
 public CornerHarris(String[] args) {
        String filename = args.length > 0 ? args[0] : "../data/building.jpg";
        Mat src = Imgcodecs.imread(filename);
 if (src.empty()) {
            System.err.println("Cannot read image: " + filename);
            System.exit(0);
        }
 
        Imgproc.cvtColor(src, srcGray, Imgproc.COLOR_BGR2GRAY);
 
 // Create and set up the window.
        frame = new JFrame("Harris corner detector demo");
        frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
 // Set up the content pane.
        Image img = HighGui.toBufferedImage(src);
        addComponentsToPane(frame.getContentPane(), img);
 // Use the content pane's default BorderLayout. No need for
 // setLayout(new BorderLayout());
 // Display the window.
        frame.pack();
        frame.setVisible(true);
        update();
    }
 
 private void addComponentsToPane(Container pane, Image img) {
 if (!(pane.getLayout() instanceof BorderLayout)) {
            pane.add(new JLabel("Container doesn't use BorderLayout!"));
 return;
        }
 
        JPanel sliderPanel = new JPanel();
        sliderPanel.setLayout(new BoxLayout(sliderPanel, BoxLayout.PAGE_AXIS));
 
        sliderPanel.add(new JLabel("Threshold: "));
        JSlider slider = new JSlider(0, MAX_THRESHOLD, threshold);
        slider.setMajorTickSpacing(20);
        slider.setMinorTickSpacing(10);
        slider.setPaintTicks(true);
        slider.setPaintLabels(true);
        slider.addChangeListener(new ChangeListener() {
            @Override
 public void stateChanged(ChangeEvent e) {
                JSlider source = (JSlider) e.getSource();
                threshold = source.getValue();
                update();
            }
        });
        sliderPanel.add(slider);
        pane.add(sliderPanel, BorderLayout.PAGE_START);
 
        JPanel imgPanel = new JPanel();
        imgLabel = new JLabel(new ImageIcon(img));
        imgPanel.add(imgLabel);
 
        Mat blackImg = Mat.zeros(srcGray.size(), CvType.CV_8U);
        cornerLabel = new JLabel(new ImageIcon(HighGui.toBufferedImage(blackImg)));
        imgPanel.add(cornerLabel);
 
        pane.add(imgPanel, BorderLayout.CENTER);
    }
 
 private void update() {
        dst = Mat.zeros(srcGray.size(), CvType.CV_32F);
 
 int blockSize = 2;
 int apertureSize = 3;
 double k = 0.04;
 
        Imgproc.cornerHarris(srcGray, dst, blockSize, apertureSize, k);
 
        Core.normalize(dst, dstNorm, 0, 255, Core.NORM_MINMAX);
        Core.convertScaleAbs(dstNorm, dstNormScaled);
 
 float[] dstNormData = new float[(int) (dstNorm.total() * dstNorm.channels())];
        dstNorm.get(0, 0, dstNormData);
 
 for (int i = 0; i < dstNorm.rows(); i++) {
 for (int j = 0; j < dstNorm.cols(); j++) {
 if ((int) dstNormData[i * dstNorm.cols() + j] > threshold) {
                    Imgproc.circle(dstNormScaled, new Point(j, i), 5, new Scalar(0), 2, 8, 0);
                }
            }
        }
 
        cornerLabel.setIcon(new ImageIcon(HighGui.toBufferedImage(dstNormScaled)));
        frame.repaint();
    }
}
 
public class CornerHarrisDemo {
 public static void main(String[] args) {
 // Load the native OpenCV library
        System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
 
 // Schedule a job for the event dispatch thread:
 // creating and showing this application's GUI.
        javax.swing.SwingUtilities.invokeLater(new Runnable() {
            @Override
 public void run() {
 new CornerHarris(args);
            }
        });
    }
}

Python

このチュートリアルのコードを以下の行に示す。こちらからダウンロードすることもできる

from __future__ import print_function
import cv2 as cv
import numpy as np
import argparse
 
source_window = 'Source image'
corners_window = 'Corners detected'
max_thresh = 255
 
def cornerHarris_demo(val):
    thresh = val
 
 # Detector parameters
    blockSize = 2
    apertureSize = 3
    k = 0.04
 
 # Detecting corners
    dst = cv.cornerHarris(src_gray, blockSize, apertureSize, k)
 
 # Normalizing
    dst_norm = np.empty(dst.shape, dtype=np.float32)
 cv.normalize(dst, dst_norm, alpha=0, beta=255, norm_type=cv.NORM_MINMAX)
    dst_norm_scaled = cv.convertScaleAbs(dst_norm)
 
 # Drawing a circle around corners
 for i in range(dst_norm.shape[0]):
 for j in range(dst_norm.shape[1]):
 if int(dst_norm[i,j]) > thresh:
 cv.circle(dst_norm_scaled, (j,i), 5, (0), 2)
 
 # Showing the result
 cv.namedWindow(corners_window)
 cv.imshow(corners_window, dst_norm_scaled)
 
# Load source image and convert it to gray
parser = argparse.ArgumentParser(description='Code for Harris corner detector tutorial.')
parser.add_argument('--input', help='Path to input image.', default='building.jpg')
args = parser.parse_args()
 
src = cv.imread(cv.samples.findFile(args.input))
if src is None:
    print('Could not open or find the image:', args.input)
    exit(0)
 
src_gray = cv.cvtColor(src, cv.COLOR_BGR2GRAY)
 
# Create a window and a trackbar
cv.namedWindow(source_window)
thresh = 200 # initial threshold
cv.createTrackbar('Threshold: ', source_window, thresh, max_thresh, cornerHarris_demo)
cv.imshow(source_window, src)
cornerHarris_demo(thresh)
 
cv.waitKey()

解説

結果

元の画像:

検出されたコーナーは小さな黒い円で囲まれている