より発展的なモルフォロジー変換

目次

• 目的
• Theory
  • オープニング
  • クロージング
  • モルフォロジー勾配
  • トップハット
  • ブラックハット
• コード
• 解説
• 結果

前のチュートリアル: 収縮と膨張
次のチュートリアル: Hit-or-Miss変換

原著者	Ana Huamán
互換性	OpenCV >= 3.0

目的

このチュートリアルでは、以下の方法を学ぶ:

• Use the OpenCV function cv::morphologyEx to apply Morphological Transformation such as:
  • オープニング
  • クロージング
  • モルフォロジー勾配
  • トップハット
  • ブラックハット

理論

覚え書き

以下の説明は、BradskiとKaehlerによる書籍 Learning OpenCV に基づくものである。

前のチュートリアルでは、2つの基本的なモルフォロジー演算を扱った。

• 収縮 (Erosion)
• 膨張 (Dilation)。

これら2つを基にして、画像に対してより高度な変換を行うことができる。ここでは、OpenCVが提供する5つの演算について簡潔に説明する。

オープニング

• 画像を収縮した後に膨張することで得られる。

  \[dst = open( src, element) = dilate( erode( src, element ) )\]

• 小さな物体を除去するのに有用である (物体は暗い前景上で明るいものと仮定する)
• たとえば、以下の例を見てほしい。左の画像が元画像で、右の画像がオープニング変換を適用した結果である。小さな点が消えていることが観察できる。

クロージング

• 画像を膨張した後に収縮することで得られる。

  \[dst = close( src, element ) = erode( dilate( src, element ) )\]

• 小さな穴 (暗い領域) を除去するのに有用である。

モルフォロジー勾配

• 画像の膨張と収縮の差である。

  \[dst = morph_{grad}( src, element ) = dilate( src, element ) - erode( src, element )\]

• 以下に示すように、物体の輪郭を見つけるのに有用である。

トップハット

• 入力画像とそのオープニングの差である。

  \[dst = tophat( src, element ) = src - open( src, element )\]

ブラックハット

• クロージングとその入力画像の差である

  \[dst = blackhat( src, element ) = close( src, element ) - src\]

コード

C++

このチュートリアルのコードを以下に示す。こちらからダウンロードすることもできる

 
#include "opencv2/imgproc.hpp"
#include "opencv2/imgcodecs.hpp"
#include "opencv2/highgui.hpp"
#include <iostream>
 
using namespace cv;
 
Mat src, dst;
 
int morph_elem = 0;
int morph_size = 0;
int morph_operator = 0;
int const max_operator = 4;
int const max_elem = 3;
int const max_kernel_size = 21;
 
const char* window_name = "Morphology Transformations Demo";
 
 
void Morphology_Operations( int, void* );
 
int main( int argc, char** argv )
{
 CommandLineParser parser( argc, argv, "{@input | baboon.jpg | input image}" );
  src = imread( samples::findFile( parser.get<String>( "@input" ) ), IMREAD_COLOR );
 if (src.empty())
  {
    std::cout << "Could not open or find the image!\n" << std::endl;
    std::cout << "Usage: " << argv[0] << " <Input image>" << std::endl;
 return EXIT_FAILURE;
  }
 
  namedWindow( window_name, WINDOW_AUTOSIZE ); // Create window
 
  createTrackbar("Operator:\n 0: Opening - 1: Closing  \n 2: Gradient - 3: Top Hat \n 4: Black Hat", window_name, &morph_operator, max_operator, Morphology_Operations );
 
  createTrackbar( "Element:\n 0: Rect - 1: Cross - 2: Ellipse - 3: Diamond", window_name,
                  &morph_elem, max_elem,
                  Morphology_Operations );
 
  createTrackbar( "Kernel size:\n 2n +1", window_name,
                  &morph_size, max_kernel_size,
                  Morphology_Operations );
 
  Morphology_Operations( 0, 0 );
 
  waitKey(0);
 return 0;
}
 
 
void Morphology_Operations( int, void* )
{
 // Since MORPH_X : 2,3,4,5 and 6
 int operation = morph_operator + 2;
 
 Mat element = getStructuringElement( morph_elem, Size( 2*morph_size + 1, 2*morph_size+1 ), Point( morph_size, morph_size ) );
 
  morphologyEx( src, dst, operation, element );
  imshow( window_name, dst );
}

Java

このチュートリアルのコードを以下に示す。こちらからダウンロードすることもできる

import java.awt.BorderLayout;
import java.awt.Container;
import java.awt.Image;
import java.awt.event.ActionEvent;
import java.awt.event.ActionListener;
 
import javax.swing.BoxLayout;
import javax.swing.ImageIcon;
import javax.swing.JComboBox;
import javax.swing.JFrame;
import javax.swing.JLabel;
import javax.swing.JPanel;
import javax.swing.JSlider;
import javax.swing.event.ChangeEvent;
import javax.swing.event.ChangeListener;
 
import org.opencv.core.Core;
import org.opencv.core.Mat;
import org.opencv.core.Point;
import org.opencv.core.Size;
import org.opencv.highgui.HighGui;
import org.opencv.imgcodecs.Imgcodecs;
import org.opencv.imgproc.Imgproc;
 
public class MorphologyDemo2 {
 private static final String[] MORPH_OP = { "Opening", "Closing", "Gradient", "Top Hat", "Black Hat" };
 private static final int[] MORPH_OP_TYPE = { Imgproc.MORPH_OPEN, Imgproc.MORPH_CLOSE,
            Imgproc.MORPH_GRADIENT, Imgproc.MORPH_TOPHAT, Imgproc.MORPH_BLACKHAT };
 private static final String[] ELEMENT_TYPE = { "Rectangle", "Cross", "Ellipse" };
 private static final int MAX_KERNEL_SIZE = 21;
 private Mat matImgSrc;
 private Mat matImgDst = new Mat();
 private int morphOpType = Imgproc.MORPH_OPEN;
 private int elementType = Imgproc.CV_SHAPE_RECT;
 private int kernelSize = 0;
 private JFrame frame;
 private JLabel imgLabel;
 
 public MorphologyDemo2(String[] args) {
        String imagePath = args.length > 0 ? args[0] : "../data/LinuxLogo.jpg";
        matImgSrc = Imgcodecs.imread(imagePath);
 if (matImgSrc.empty()) {
            System.out.println("Empty image: " + imagePath);
            System.exit(0);
        }
 
 // Create and set up the window.
        frame = new JFrame("Morphology Transformations demo");
        frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
 // Set up the content pane.
        Image img = HighGui.toBufferedImage(matImgSrc);
        addComponentsToPane(frame.getContentPane(), img);
 // Use the content pane's default BorderLayout. No need for
 // setLayout(new BorderLayout());
 // Display the window.
        frame.pack();
        frame.setVisible(true);
    }
 
 private void addComponentsToPane(Container pane, Image img) {
 if (!(pane.getLayout() instanceof BorderLayout)) {
            pane.add(new JLabel("Container doesn't use BorderLayout!"));
 return;
        }
 
        JPanel sliderPanel = new JPanel();
        sliderPanel.setLayout(new BoxLayout(sliderPanel, BoxLayout.PAGE_AXIS));
 
        JComboBox<String> morphOpBox = new JComboBox<>(MORPH_OP);
        morphOpBox.addActionListener(new ActionListener() {
            @Override
 public void actionPerformed(ActionEvent e) {
                @SuppressWarnings("unchecked")
                JComboBox<String> cb = (JComboBox<String>)e.getSource();
                morphOpType = MORPH_OP_TYPE[cb.getSelectedIndex()];
                update();
            }
        });
        sliderPanel.add(morphOpBox);
 
        JComboBox<String> elementTypeBox = new JComboBox<>(ELEMENT_TYPE);
        elementTypeBox.addActionListener(new ActionListener() {
            @Override
 public void actionPerformed(ActionEvent e) {
                @SuppressWarnings("unchecked")
                JComboBox<String> cb = (JComboBox<String>)e.getSource();
                if (cb.getSelectedIndex() == 0) {
                    elementType = Imgproc.CV_SHAPE_RECT;
                } else if (cb.getSelectedIndex() == 1) {
                    elementType = Imgproc.CV_SHAPE_CROSS;
                } else if (cb.getSelectedIndex() == 2) {
                    elementType = Imgproc.CV_SHAPE_ELLIPSE;
                }
                update();
            }
        });
        sliderPanel.add(elementTypeBox);
 
        sliderPanel.add(new JLabel("Kernel size: 2n + 1"));
        JSlider slider = new JSlider(0, MAX_KERNEL_SIZE, 0);
        slider.setMajorTickSpacing(5);
        slider.setMinorTickSpacing(5);
        slider.setPaintTicks(true);
        slider.setPaintLabels(true);
        slider.addChangeListener(new ChangeListener() {
            @Override
 public void stateChanged(ChangeEvent e) {
                JSlider source = (JSlider) e.getSource();
                kernelSize = source.getValue();
                update();
            }
        });
        sliderPanel.add(slider);
 
        pane.add(sliderPanel, BorderLayout.PAGE_START);
        imgLabel = new JLabel(new ImageIcon(img));
        pane.add(imgLabel, BorderLayout.CENTER);
    }
 
 private void update() {
        Mat element = Imgproc.getStructuringElement(elementType, new Size(2 * kernelSize + 1, 2 * kernelSize + 1),
 new Point(kernelSize, kernelSize));
 
        Imgproc.morphologyEx(matImgSrc, matImgDst, morphOpType, element);
        Image img = HighGui.toBufferedImage(matImgDst);
        imgLabel.setIcon(new ImageIcon(img));
        frame.repaint();
    }
 
 public static void main(String[] args) {
 // Load the native OpenCV library
        System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
 
 // Schedule a job for the event dispatch thread:
 // creating and showing this application's GUI.
        javax.swing.SwingUtilities.invokeLater(new Runnable() {
            @Override
 public void run() {
 new MorphologyDemo2(args);
            }
        });
    }
}

Python

このチュートリアルのコードを以下に示す。こちらからダウンロードすることもできる

from __future__ import print_function
import cv2 as cv
import numpy as np
import argparse
 
morph_size = 0
max_operator = 4
max_elem = 3
max_kernel_size = 21
title_trackbar_operator_type = 'Operator:\n 0: Opening - 1: Closing  \n 2: Gradient - 3: Top Hat \n 4: Black Hat'
title_trackbar_element_type = 'Element:\n 0: Rect - 1: Cross - 2: Ellipse - 3: Diamond'
title_trackbar_kernel_size = 'Kernel size:\n 2n + 1'
title_window = 'Morphology Transformations Demo'
morph_op_dic = {0: cv.MORPH_OPEN, 1: cv.MORPH_CLOSE, 2: cv.MORPH_GRADIENT, 3: cv.MORPH_TOPHAT, 4: cv.MORPH_BLACKHAT}
 
def morphology_operations(val):
    morph_operator = cv.getTrackbarPos(title_trackbar_operator_type, title_window)
    morph_size = cv.getTrackbarPos(title_trackbar_kernel_size, title_window)
    morph_elem = 0
    val_type = cv.getTrackbarPos(title_trackbar_element_type, title_window)
 if val_type == 0:
        morph_elem = cv.MORPH_RECT
 elif val_type == 1:
        morph_elem = cv.MORPH_CROSS
 elif val_type == 2:
        morph_elem = cv.MORPH_ELLIPSE
 elif val_type == 3:
        morph_elem = cv.MORPH_DIAMOND
 
    element = cv.getStructuringElement(morph_elem, (2*morph_size + 1, 2*morph_size+1), (morph_size, morph_size))
    operation = morph_op_dic[morph_operator]
    dst = cv.morphologyEx(src, operation, element)
 cv.imshow(title_window, dst)
 
parser = argparse.ArgumentParser(description='Code for More Morphology Transformations tutorial.')
parser.add_argument('--input', help='Path to input image.', default='LinuxLogo.jpg')
args = parser.parse_args()
 
src = cv.imread(cv.samples.findFile(args.input))
if src is None:
    print('Could not open or find the image: ', args.input)
    exit(0)
 
cv.namedWindow(title_window)
cv.createTrackbar(title_trackbar_operator_type, title_window , 0, max_operator, morphology_operations)
cv.createTrackbar(title_trackbar_element_type, title_window , 0, max_elem, morphology_operations)
cv.createTrackbar(title_trackbar_kernel_size, title_window , 0, max_kernel_size, morphology_operations)
 
morphology_operations(0)
cv.waitKey()

解説

1. Let's check the general structure of the C++ program:
   • 画像を読み込む
   • モルフォロジー演算の結果を表示するためのウィンドウを作成する
   • Create three Trackbars for the user to enter parameters:
     • 1つ目のトラックバー Operator は、使用するモルフォロジー演算の種類 (morph_operator) を返す。

        createTrackbar("Operator:\n 0: Opening - 1: Closing \n 2: Gradient - 3: Top Hat \n 4: Black Hat", window_name, &morph_operator, max_operator, Morphology_Operations );

     • 2つ目のトラックバー Element は morph_elem を返し、これはカーネルの構造の種類を示す。

        createTrackbar( "Element:\n 0: Rect - 1: Cross - 2: Ellipse - 3: Diamond", window_name,
        &morph_elem, max_elem,
        Morphology_Operations );

     • 最後のトラックバー Kernel Size は、使用するカーネルのサイズ (morph_size) を返す

        createTrackbar( "Kernel size:\n 2n +1", window_name,
        &morph_size, max_kernel_size,
        Morphology_Operations );

   • いずれかのスライダーを動かすたびに、ユーザー関数 Morphology_Operations が呼ばれて新しいモルフォロジー演算を実行し、現在のトラックバーの値に基づいて出力画像を更新する。

      
     void Morphology_Operations( int, void* )
     {
      // Since MORPH_X : 2,3,4,5 and 6
      int operation = morph_operator + 2;
      
      Mat element = getStructuringElement( morph_elem, Size( 2*morph_size + 1, 2*morph_size+1 ), Point( morph_size, morph_size ) );
      
      morphologyEx( src, dst, operation, element );
      imshow( window_name, dst );
     }

     モルフォロジー変換を実行する主要な関数は cv::morphologyEx であることが分かる。この例では4つの引数を使う (残りはデフォルトのままにする)。

     • src : 元 (入力) 画像
     • dst: 出力画像

     • operation: 実行するモルフォロジー変換の種類。次の5つの選択肢がある点に注意する。

       • オープニング: MORPH_OPEN : 2
       • クロージング: MORPH_CLOSE: 3
       • 勾配: MORPH_GRADIENT: 4
       • トップハット: MORPH_TOPHAT: 5
       • ブラックハット: MORPH_BLACKHAT: 6

       見てのとおり値の範囲は <2-6> である。これがトラックバーで入力された値に (+2) を加える理由である。

        int operation = morph_operator + 2;

     • element: 使用するカーネル。独自の構造を定義するために cv::getStructuringElement 関数を使う。

結果

• 上記のコードをコンパイルした後、画像のパスを引数として渡して実行できる。画像 baboon.png を使った結果は次のとおりである。

• そして、表示ウィンドウのスナップショットを2枚示す。1枚目の画像は、クロス型カーネルでオープニング演算子を適用した後の出力を示している。2枚目の画像（右側）は、楕円型カーネルでブラックハット演算子を適用した結果を示している。