目的

このチュートリアルでは、以下の方法を学ぶ:

OpenCV の関数 cv::Canny を使って Canny エッジ検出器を実装する。

理論

Canny エッジ検出器 [50] は、1986年に John F. Canny によって開発された。多くの人に最適検出器 (optimal detector) としても知られており、Canny アルゴリズムは3つの主要な基準を満たすことを目指している:

低エラー率: 実在するエッジのみを良好に検出することを意味する。
良好な位置特定: 検出されたエッジピクセルと実際のエッジピクセルとの距離を最小化しなければならない。
最小限の応答: エッジ1つにつき検出応答は1つのみ。

手順

ノイズを除去する。この目的にはガウシアンフィルタが使われる。使用され得る \(size = 5\) のガウシアンカーネルの例を以下に示す:

\[K = \dfrac{1}{159}\begin{bmatrix} 2 & 4 & 5 & 4 & 2 \\ 4 & 9 & 12 & 9 & 4 \\ 5 & 12 & 15 & 12 & 5 \\ 4 & 9 & 12 & 9 & 4 \\ 2 & 4 & 5 & 4 & 2 \end{bmatrix}\]
Find the intensity gradient of the image. For this, we follow a procedure analogous to Sobel:
1. Apply a pair of convolution masks (in \(x\) and \(y\) directions:
  \[G_{x} = \begin{bmatrix} -1 & 0 & +1 \\ -2 & 0 & +2 \\ -1 & 0 & +1 \end{bmatrix}\]
  
  \[G_{y} = \begin{bmatrix} -1 & -2 & -1 \\ 0 & 0 & 0 \\ +1 & +2 & +1 \end{bmatrix}\]
2. Find the gradient strength and direction with:
  \[\begin{array}{l} G = \sqrt{ G_{x}^{2} + G_{y}^{2} } \\ \theta = \arctan(\dfrac{ G_{y} }{ G_{x} }) \end{array}\]
  The direction is rounded to one of four possible angles (namely 0, 45, 90 or 135)
非最大値抑制を適用する。これにより、エッジの一部とみなされないピクセルが除去される。その結果、細い線(エッジ候補)のみが残る。
ヒステリシス: 最終ステップ。Canny は2つのしきい値(上限と下限)を使用する:
1. ピクセルの勾配が上限しきい値より大きい場合、そのピクセルはエッジとして受け入れられる
2. ピクセルの勾配値が下限しきい値を下回る場合、そのピクセルは棄却される。
3. ピクセルの勾配が2つのしきい値の間にある場合、上限しきい値を超えるピクセルに接続されている場合にのみ受け入れられる。
Canny は上限:下限の比を 2:1 から 3:1 の間にすることを推奨している。
詳細については、お好みのコンピュータビジョンの書籍を参照するとよい。

コード

チュートリアルのコードを以下の行に示す。ここからダウンロードすることもできる。

#include "opencv2/imgproc.hpp"

#include "opencv2/highgui.hpp"

#include <iostream>

using namespace cv;

Mat src, src_gray;

Mat dst, detected_edges;

int lowThreshold = 0;

const int max_lowThreshold = 100;

const int ratio = 3;

const int kernel_size = 3;

const char* window_name = "Edge Map";

static void CannyThreshold(int, void*)

{

blur( src_gray, detected_edges, Size(3,3) );

Canny( detected_edges, detected_edges, lowThreshold, lowThreshold*ratio, kernel_size );

dst = Scalar::all(0);

src.copyTo( dst, detected_edges);

imshow( window_name, dst );

}

int main( int argc, char** argv )

{

CommandLineParser parser( argc, argv, "{@input | fruits.jpg | input image}" );

src = imread( samples::findFile( parser.get<String>( "@input" ) ), IMREAD_COLOR ); // Load an image

if( src.empty() )

{

std::cout << "Could not open or find the image!\n" << std::endl;

std::cout << "Usage: " << argv[0] << " <Input image>" << std::endl;

return -1;

}

dst.create( src.size(), src.type() );

cvtColor( src, src_gray, COLOR_BGR2GRAY );

namedWindow( window_name, WINDOW_AUTOSIZE );

createTrackbar( "Min Threshold:", window_name, &lowThreshold, max_lowThreshold, CannyThreshold );

CannyThreshold(0, 0);

waitKey(0);

return 0;

}

cv::CommandLineParser
Designed for command line parsing.
Definition utility.hpp:890

cv::Mat
n-dimensional dense array class
Definition mat.hpp:840

cv::Mat::size
MatSize size
Definition mat.hpp:2226

cv::Mat::copyTo
void copyTo(OutputArray m) const
Copies the matrix to another one.

cv::Mat::create
void create(int rows, int cols, int type)
Allocates new array data if needed.

cv::Mat::empty
bool empty() const
Returns true if the array has no elements.

cv::Mat::type
int type() const
Returns the type of a matrix element.

cv::Size_
Template class for specifying the size of an image or rectangle.
Definition types.hpp:335

cv::String
std::string String
Definition cvstd.hpp:151

highgui.hpp

main
int main(int argc, char *argv[])
Definition highgui_qt.cpp:3

imgproc.hpp

cv
Definition core.hpp:107

チュートリアルのコードを以下の行に示す。ここからダウンロードすることもできる。
import java.awt.BorderLayout;

import java.awt.Container;

import java.awt.Image;

import javax.swing.BoxLayout;

import javax.swing.ImageIcon;

import javax.swing.JFrame;

import javax.swing.JLabel;

import javax.swing.JPanel;

import javax.swing.JSlider;

import javax.swing.event.ChangeEvent;

import javax.swing.event.ChangeListener;

import org.opencv.core.Core;

import org.opencv.core.CvType;

import org.opencv.core.Mat;

import org.opencv.core.Scalar;

import org.opencv.core.Size;

import org.opencv.highgui.HighGui;

import org.opencv.imgcodecs.Imgcodecs;

import org.opencv.imgproc.Imgproc;

public class CannyDetectorDemo {

private static final int MAX_LOW_THRESHOLD = 100;

private static final int RATIO = 3;

private static final int KERNEL_SIZE = 3;

private static final Size BLUR_SIZE = new Size(3,3);

private int lowThresh = 0;

private Mat src;

private Mat srcBlur = new Mat();

private Mat detectedEdges = new Mat();

private Mat dst = new Mat();

private JFrame frame;

private JLabel imgLabel;

public CannyDetectorDemo(String[] args) {

String imagePath = args.length > 0 ? args[0] : "../data/fruits.jpg";

src = Imgcodecs.imread(imagePath);

if (src.empty()) {

System.out.println("Empty image: " + imagePath);

System.exit(0);

}

// Create and set up the window.

frame = new JFrame("Edge Map (Canny detector demo)");

frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);

// Set up the content pane.

Image img = HighGui.toBufferedImage(src);

addComponentsToPane(frame.getContentPane(), img);

// Use the content pane's default BorderLayout. No need for

// setLayout(new BorderLayout());

// Display the window.

frame.pack();

frame.setVisible(true);

}

private void addComponentsToPane(Container pane, Image img) {

if (!(pane.getLayout() instanceof BorderLayout)) {

pane.add(new JLabel("Container doesn't use BorderLayout!"));

return;

}

JPanel sliderPanel = new JPanel();

sliderPanel.setLayout(new BoxLayout(sliderPanel, BoxLayout.PAGE_AXIS));

sliderPanel.add(new JLabel("Min Threshold:"));

JSlider slider = new JSlider(0, MAX_LOW_THRESHOLD, 0);

slider.setMajorTickSpacing(10);

slider.setMinorTickSpacing(5);

slider.setPaintTicks(true);

slider.setPaintLabels(true);

slider.addChangeListener(new ChangeListener() {

@Override

public void stateChanged(ChangeEvent e) {

JSlider source = (JSlider) e.getSource();

lowThresh = source.getValue();

update();

}

});

sliderPanel.add(slider);

pane.add(sliderPanel, BorderLayout.PAGE_START);

imgLabel = new JLabel(new ImageIcon(img));

pane.add(imgLabel, BorderLayout.CENTER);

}

private void update() {

Imgproc.blur(src, srcBlur, BLUR_SIZE);

Imgproc.Canny(srcBlur, detectedEdges, lowThresh, lowThresh * RATIO, KERNEL_SIZE, false);

dst = new Mat(src.size(), CvType.CV_8UC3, Scalar.all(0));

src.copyTo(dst, detectedEdges);

Image img = HighGui.toBufferedImage(dst);

imgLabel.setIcon(new ImageIcon(img));

frame.repaint();

}

public static void main(String[] args) {

// Load the native OpenCV library

System.loadLibrary(Core.NATIVE_LIBRARY_NAME);

// Schedule a job for the event dispatch thread:

// creating and showing this application's GUI.

javax.swing.SwingUtilities.invokeLater(new Runnable() {

@Override

public void run() {

new CannyDetectorDemo(args);

}

});

}

}

cv::Scalar_::all
static Scalar_< _Tp > all(_Tp v0)
returns a scalar with all elements set to v0

cv::Scalar
Scalar_< double > Scalar
Definition types.hpp:709

チュートリアルのコードを以下の行に示す。ここからダウンロードすることもできる。
from __future__ import print_function

import cv2 as cv

import argparse

max_lowThreshold = 100

window_name = 'Edge Map'

title_trackbar = 'Min Threshold:'

ratio = 3

kernel_size = 3

def CannyThreshold(val):

low_threshold = val

img_blur = cv.blur(src_gray, (3,3))

detected_edges = cv.Canny(img_blur, low_threshold, low_threshold*ratio, kernel_size)

mask = detected_edges != 0

dst = src * (mask[:,:,None].astype(src.dtype))

cv.imshow(window_name, dst)

parser = argparse.ArgumentParser(description='Code for Canny Edge Detector tutorial.')

parser.add_argument('--input', help='Path to input image.', default='fruits.jpg')

args = parser.parse_args()

src = cv.imread(cv.samples.findFile(args.input))

if src is None:

print('Could not open or find the image: ', args.input)

exit(0)

src_gray = cv.cvtColor(src, cv.COLOR_BGR2GRAY)

cv.namedWindow(window_name)

cv.createTrackbar(title_trackbar, window_name , 0, max_lowThreshold, CannyThreshold)

CannyThreshold(0)

cv.waitKey()

cv::samples::findFile
cv::String findFile(const cv::String &relative_path, bool required=true, bool silentMode=false)
Try to find requested data file.

cv::imshow
void imshow(const String &winname, InputArray mat)
Displays an image in the specified window.

cv::waitKey
int waitKey(int delay=0)
Waits for a pressed key.

cv::namedWindow
void namedWindow(const String &winname, int flags=WINDOW_AUTOSIZE)
Creates a window.

cv::createTrackbar
int createTrackbar(const String &trackbarname, const String &winname, int *value, int count, TrackbarCallback onChange=0, void *userdata=0)
Creates a trackbar and attaches it to the specified window.

cv::imread
Mat imread(const String &filename, int flags=IMREAD_COLOR_BGR)
Loads an image from a file.

cv::cvtColor
void cvtColor(InputArray src, OutputArray dst, int code, int dstCn=0, AlgorithmHint hint=cv::ALGO_HINT_DEFAULT)
Converts an image from one color space to another.

cv::Canny
void Canny(InputArray image, OutputArray edges, double threshold1, double threshold2, int apertureSize=3, bool L2gradient=false)
Finds edges in an image using the Canny algorithm canny86 .

cv::blur
void blur(InputArray src, OutputArray dst, Size ksize, Point anchor=Point(-1,-1), int borderType=BORDER_DEFAULT)
Blurs an image using the normalized box filter.

What does this program do?

(トラックバーを用いて)Canny エッジ検出器の下限しきい値を設定するための数値を入力するようユーザーに求める。
Cannyエッジ検出器を適用し、マスク（黒い背景上にエッジを表す明るい線）を生成する。
得られたマスクを元画像に適用し、ウィンドウに表示する。

解説 (C++コード)

必要な変数をいくつか作成する：
Mat src, src_gray;

Mat dst, detected_edges;

int lowThreshold = 0;

const int max_lowThreshold = 100;

const int ratio = 3;

const int kernel_size = 3;

const char* window_name = "Edge Map";

以下の点に注意する：
1. 下側しきい値と上側しきい値の比を3:1（変数ratioで指定）に設定する。
2. カーネルサイズを\(3\)に設定する（Canny関数が内部で実行するSobel演算用）。
3. 下側しきい値の最大値を\(100\)に設定する。
元画像を読み込む：
CommandLineParser parser( argc, argv, "{@input | fruits.jpg | input image}" );

src = imread( samples::findFile( parser.get<String>( "@input" ) ), IMREAD_COLOR ); // Load an image

if( src.empty() )

{

std::cout << "Could not open or find the image!\n" << std::endl;

std::cout << "Usage: " << argv[0] << " <Input image>" << std::endl;

return -1;

}
srcと同じ型・サイズの行列（dstとする）を作成する：
dst.create( src.size(), src.type() );
画像をグレースケールに変換する（cv::cvtColor 関数を使用）：
cvtColor( src, src_gray, COLOR_BGR2GRAY );
結果を表示するためのウィンドウを作成する：
namedWindow( window_name, WINDOW_AUTOSIZE );
Create a Trackbar for the user to enter the lower threshold for our Canny detector:
createTrackbar( "Min Threshold:", window_name, &lowThreshold, max_lowThreshold, CannyThreshold );

Observe the following:
1. トラックバーで制御される変数はlowThresholdで、その上限はmax_lowThreshold（先ほど100に設定した値）である。
2. トラックバーが操作を検出するたびに、コールバック関数CannyThresholdが呼び出される。
Let's check the CannyThreshold function, step by step:
1. まず、カーネルサイズ3のフィルタで画像を平滑化する：
  blur( src_gray, detected_edges, Size(3,3) );
2. Second, we apply the OpenCV function cv::Canny :
  Canny( detected_edges, detected_edges, lowThreshold, lowThreshold*ratio, kernel_size );
  
  where the arguments are:
  - detected_edges：入力画像、グレースケール
  - detected_edges：検出器の出力（入力と同じものでもよい）
  - lowThreshold：ユーザがトラックバーを動かして入力した値
  - highThreshold：プログラム内で下側しきい値の3倍に設定（Cannyの推奨に従う）
  - kernel_size：3に定義した（内部で使用されるSobelカーネルのサイズ）
dst画像をゼロで埋める（画像が完全に黒になることを意味する）。
dst = Scalar::all(0);
最後に、cv::Mat::copyTo関数を使用して、エッジとして識別された画像の領域だけを（黒い背景上に）マッピングする。cv::Mat::copyToはsrc画像をdstにコピーする。ただし、ゼロ以外の値を持つ位置のピクセルのみをコピーする。Cannyエッジ検出器の出力は黒い背景上のエッジ輪郭なので、結果として得られるdstは検出されたエッジを除くすべての領域が黒になる。
src.copyTo( dst, detected_edges);
結果を表示する：
imshow( window_name, dst );

結果

上記のコードをコンパイルした後、画像へのパスを引数として与えて実行できる。たとえば、次の画像を入力として使用する場合：

スライダーを動かしてさまざまなしきい値を試すと、次のような結果が得られる：

エッジ領域で画像が黒い背景に重ね合わされている様子に注目する。


原著者	Ana Huamán
互換性	OpenCV >= 3.0

目次

目的

理論

手順

コード

解説 (C++コード)

結果