基本的なしきい値処理

目次

• 目的
• 理論
• Thresholding?
  • Types of Thresholding
    • 二値しきい値処理
    • 二値しきい値処理(反転)
    • 切り捨て
    • ゼロへのしきい値処理
    • ゼロへのしきい値処理(反転)
• コード
• 解説
• 結果

前のチュートリアル: 画像ピラミッド
次のチュートリアル: inRangeを用いたしきい値処理

原著者	Ana Huamán
互換性	OpenCV >= 3.0

目的

このチュートリアルでは、以下の方法を学ぶ:

• OpenCVの関数cv::thresholdを用いて基本的なしきい値処理を実行する

理論

覚え書き

以下の説明はBradskiとKaehlerによる書籍Learning OpenCVに基づいている。それでは

しきい値処理とは?

• 最も単純なセグメンテーション(領域分割)手法
• 応用例: 解析したい対象物に対応する画像の領域を分離する。この分離は、対象物のピクセルと背景のピクセルとの間の輝度の差に基づく。
• 対象とするピクセルをそれ以外(最終的に除外されるもの)と区別するために、各ピクセルの輝度値をしきい値(解決すべき問題に応じて決定される)と比較する。
• 重要なピクセルを適切に分離できたら、それらを識別するために特定の値を設定できる(すなわち、\(0\)(黒)、\(255\)(白)、または用途に適した任意の値を割り当てられる)。

しきい値処理の種類

• OpenCVは、しきい値処理を実行するための関数cv::thresholdを提供する。
• この関数では\(5\)種類のしきい値処理を行える。それらを以下のサブセクションで説明する。
• これらのしきい値処理がどのように動作するかを説明するため、強度値 \(src(x,y)\) を持つピクセルからなる入力画像があるとする。下のプロットはこれを示している。水平な青い線はしきい値 \(thresh\) （固定）を表す。

2値化しきい値処理 (Threshold Binary)

• このしきい値処理は次のように表せる。

  \[\texttt{dst} (x,y) = \fork{\texttt{maxVal}}{if \(\texttt{src}(x,y) > \texttt{thresh}\)}{0}{otherwise}\]

• つまり、ピクセル \(src(x,y)\) の強度が \(thresh\) より大きければ、新しいピクセル強度は \(MaxVal\) に設定される。それ以外の場合、ピクセルは \(0\) に設定される。

反転2値化しきい値処理 (Threshold Binary, Inverted)

• このしきい値処理は次のように表せる。

  \[\texttt{dst} (x,y) = \fork{0}{if \(\texttt{src}(x,y) > \texttt{thresh}\)}{\texttt{maxVal}}{otherwise}\]

• ピクセル \(src(x,y)\) の強度が \(thresh\) より大きければ、新しいピクセル強度は \(0\) に設定される。それ以外の場合は \(MaxVal\) に設定される。

切り捨て (Truncate)

• このしきい値処理は次のように表せる。

  \[\texttt{dst} (x,y) = \fork{\texttt{threshold}}{if \(\texttt{src}(x,y) > \texttt{thresh}\)}{\texttt{src}(x,y)}{otherwise}\]

• ピクセルの最大強度値は \(thresh\) であり、\(src(x,y)\) がそれより大きければその値は切り捨てられる。下の図を参照。

0へのしきい値処理 (Threshold to Zero)

• この処理は次のように表せる。

  \[\texttt{dst} (x,y) = \fork{\texttt{src}(x,y)}{if \(\texttt{src}(x,y) > \texttt{thresh}\)}{0}{otherwise}\]

• \(src(x,y)\) が \(thresh\) より小さければ、新しいピクセル値は \(0\) に設定される。

反転0へのしきい値処理 (Threshold to Zero, Inverted)

• この処理は次のように表せる。

  \[\texttt{dst} (x,y) = \fork{0}{if \(\texttt{src}(x,y) > \texttt{thresh}\)}{\texttt{src}(x,y)}{otherwise}\]

• \(src(x,y)\) が \(thresh\) より大きければ、新しいピクセル値は \(0\) に設定される。

コード

C++

チュートリアルのコードを以下の行に示す。こちらからダウンロードすることもできる。

 
#include "opencv2/imgproc.hpp"
#include "opencv2/imgcodecs.hpp"
#include "opencv2/highgui.hpp"
#include <iostream>
 
using namespace cv;
using std::cout;
 
 
int threshold_value = 0;
int threshold_type = 3;
int const max_value = 255;
int const max_type = 4;
int const max_binary_value = 255;
 
Mat src, src_gray, dst;
const char* window_name = "Threshold Demo";
 
const char* trackbar_type = "Type: \n 0: Binary \n 1: Binary Inverted \n 2: Truncate \n 3: To Zero \n 4: To Zero Inverted";
const char* trackbar_value = "Value";
 
 
static void Threshold_Demo( int, void* )
{
 /* 0: Binary
     1: Binary Inverted
     2: Threshold Truncated
     3: Threshold to Zero
     4: Threshold to Zero Inverted
    */
    threshold( src_gray, dst, threshold_value, max_binary_value, threshold_type );
    imshow( window_name, dst );
}
 
int main( int argc, char** argv )
{
 String imageName("stuff.jpg"); // by default
 if (argc > 1)
    {
        imageName = argv[1];
    }
    src = imread( samples::findFile( imageName ), IMREAD_COLOR ); // Load an image
 
 if (src.empty())
    {
        cout << "Cannot read the image: " << imageName << std::endl;
 return -1;
    }
 
    cvtColor( src, src_gray, COLOR_BGR2GRAY ); // Convert the image to Gray
 
    namedWindow( window_name, WINDOW_AUTOSIZE ); // Create a window to display results
 
    createTrackbar( trackbar_type,
                    window_name, &threshold_type,
                    max_type, Threshold_Demo ); // Create a Trackbar to choose type of Threshold
 
    createTrackbar( trackbar_value,
                    window_name, &threshold_value,
                    max_value, Threshold_Demo ); // Create a Trackbar to choose Threshold value
 
    Threshold_Demo( 0, 0 ); // Call the function to initialize
 
    waitKey();
 return 0;
}

Java

チュートリアルのコードを以下の行に示す。こちらからダウンロードすることもできる。

import java.awt.BorderLayout;
import java.awt.Container;
import java.awt.Image;
 
import javax.swing.BoxLayout;
import javax.swing.ImageIcon;
import javax.swing.JFrame;
import javax.swing.JLabel;
import javax.swing.JPanel;
import javax.swing.JSlider;
import javax.swing.event.ChangeEvent;
import javax.swing.event.ChangeListener;
 
import org.opencv.core.Core;
import org.opencv.core.Mat;
import org.opencv.highgui.HighGui;
import org.opencv.imgcodecs.Imgcodecs;
import org.opencv.imgproc.Imgproc;
 
public class Threshold {
 private static int MAX_VALUE = 255;
 private static int MAX_TYPE = 4;
 private static int MAX_BINARY_VALUE = 255;
 private static final String WINDOW_NAME = "Threshold Demo";
 private static final String TRACKBAR_TYPE = "<html><body>Type: <br> 0: Binary <br> "
            + "1: Binary Inverted <br> 2: Truncate <br> "
            + "3: To Zero <br> 4: To Zero Inverted</body></html>";
 private static final String TRACKBAR_VALUE = "Value";
 private int thresholdValue = 0;
 private int thresholdType = 3;
 private Mat src;
 private Mat srcGray = new Mat();
 private Mat dst = new Mat();
 private JFrame frame;
 private JLabel imgLabel;
 
 public Threshold(String[] args) {
        String imagePath = "../data/stuff.jpg";
 if (args.length > 0) {
            imagePath = args[0];
        }
 // Load an image
        src = Imgcodecs.imread(imagePath);
 if (src.empty()) {
            System.out.println("Empty image: " + imagePath);
            System.exit(0);
        }
 // Convert the image to Gray
        Imgproc.cvtColor(src, srcGray, Imgproc.COLOR_BGR2GRAY);
 
 // Create and set up the window.
        frame = new JFrame(WINDOW_NAME);
        frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
 // Set up the content pane.
        Image img = HighGui.toBufferedImage(srcGray);
        addComponentsToPane(frame.getContentPane(), img);
 // Use the content pane's default BorderLayout. No need for
 // setLayout(new BorderLayout());
 // Display the window.
        frame.pack();
        frame.setVisible(true);
    }
 
 private void addComponentsToPane(Container pane, Image img) {
 if (!(pane.getLayout() instanceof BorderLayout)) {
            pane.add(new JLabel("Container doesn't use BorderLayout!"));
 return;
        }
 
        JPanel sliderPanel = new JPanel();
        sliderPanel.setLayout(new BoxLayout(sliderPanel, BoxLayout.PAGE_AXIS));
 
        sliderPanel.add(new JLabel(TRACKBAR_TYPE));
 // Create Trackbar to choose type of Threshold
        JSlider sliderThreshType = new JSlider(0, MAX_TYPE, thresholdType);
        sliderThreshType.setMajorTickSpacing(1);
        sliderThreshType.setMinorTickSpacing(1);
        sliderThreshType.setPaintTicks(true);
        sliderThreshType.setPaintLabels(true);
        sliderPanel.add(sliderThreshType);
 
        sliderPanel.add(new JLabel(TRACKBAR_VALUE));
 // Create Trackbar to choose Threshold value
        JSlider sliderThreshValue = new JSlider(0, MAX_VALUE, 0);
        sliderThreshValue.setMajorTickSpacing(50);
        sliderThreshValue.setMinorTickSpacing(10);
        sliderThreshValue.setPaintTicks(true);
        sliderThreshValue.setPaintLabels(true);
        sliderPanel.add(sliderThreshValue);
 
        sliderThreshType.addChangeListener(new ChangeListener() {
            @Override
 public void stateChanged(ChangeEvent e) {
                JSlider source = (JSlider) e.getSource();
                thresholdType = source.getValue();
                update();
            }
        });
 
        sliderThreshValue.addChangeListener(new ChangeListener() {
            @Override
 public void stateChanged(ChangeEvent e) {
                JSlider source = (JSlider) e.getSource();
                thresholdValue = source.getValue();
                update();
            }
        });
 
        pane.add(sliderPanel, BorderLayout.PAGE_START);
        imgLabel = new JLabel(new ImageIcon(img));
        pane.add(imgLabel, BorderLayout.CENTER);
    }
 
 private void update() {
        Imgproc.threshold(srcGray, dst, thresholdValue, MAX_BINARY_VALUE, thresholdType);
        Image img = HighGui.toBufferedImage(dst);
        imgLabel.setIcon(new ImageIcon(img));
        frame.repaint();
    }
 
 public static void main(String[] args) {
 // Load the native OpenCV library
        System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
 
 // Schedule a job for the event dispatch thread:
 // creating and showing this application's GUI.
        javax.swing.SwingUtilities.invokeLater(new Runnable() {
            @Override
 public void run() {
 new Threshold(args);
            }
        });
    }
}

Python

チュートリアルのコードを以下の行に示す。こちらからダウンロードすることもできる。

from __future__ import print_function
import cv2 as cv
import argparse
 
max_value = 255
max_type = 4
max_binary_value = 255
trackbar_type = 'Type: \n 0: Binary \n 1: Binary Inverted \n 2: Truncate \n 3: To Zero \n 4: To Zero Inverted'
trackbar_value = 'Value'
window_name = 'Threshold Demo'
 
 
def Threshold_Demo(val):
 #0: Binary
 #1: Binary Inverted
 #2: Threshold Truncated
 #3: Threshold to Zero
 #4: Threshold to Zero Inverted
    threshold_type = cv.getTrackbarPos(trackbar_type, window_name)
    threshold_value = cv.getTrackbarPos(trackbar_value, window_name)
    _, dst = cv.threshold(src_gray, threshold_value, max_binary_value, threshold_type )
 cv.imshow(window_name, dst)
 
 
parser = argparse.ArgumentParser(description='Code for Basic Thresholding Operations tutorial.')
parser.add_argument('--input', help='Path to input image.', default='stuff.jpg')
args = parser.parse_args()
 
 
src = cv.imread(cv.samples.findFile(args.input))
if src is None:
    print('Could not open or find the image: ', args.input)
    exit(0)
# Convert the image to Gray
src_gray = cv.cvtColor(src, cv.COLOR_BGR2GRAY)
 
 
 
cv.namedWindow(window_name)
 
 
 
cv.createTrackbar(trackbar_type, window_name , 3, max_type, Threshold_Demo)
# Create Trackbar to choose Threshold value
cv.createTrackbar(trackbar_value, window_name , 0, max_value, Threshold_Demo)
 
 
# Call the function to initialize
Threshold_Demo(0)
# Wait until user finishes program
cv.waitKey()

解説

プログラムの全体的な構造を確認しよう:

• 画像を読み込む。BGRであればグレースケールに変換する。これには関数 cv::cvtColor を使えることを思い出そう。

C++

 String imageName("stuff.jpg"); // by default
 if (argc > 1)
    {
        imageName = argv[1];
    }
    src = imread( samples::findFile( imageName ), IMREAD_COLOR ); // Load an image
 
 if (src.empty())
    {
        cout << "Cannot read the image: " << imageName << std::endl;
 return -1;
    }
 
 cvtColor( src, src_gray, COLOR_BGR2GRAY ); // Convert the image to Gray

Java

 String imagePath = "../data/stuff.jpg";
 if (args.length > 0) {
            imagePath = args[0];
        }
 // Load an image
        src = Imgcodecs.imread(imagePath);
 if (src.empty()) {
            System.out.println("Empty image: " + imagePath);
            System.exit(0);
        }
 // Convert the image to Gray
        Imgproc.cvtColor(src, srcGray, Imgproc.COLOR_BGR2GRAY);

Python

src = cv.imread(cv.samples.findFile(args.input))
if src is None:
    print('Could not open or find the image: ', args.input)
    exit(0)
# Convert the image to Gray
src_gray = cv.cvtColor(src, cv.COLOR_BGR2GRAY)

• 結果を表示するウィンドウを作成する。

C++

 namedWindow( window_name, WINDOW_AUTOSIZE ); // Create a window to display results

Java

 // Create and set up the window.
        frame = new JFrame(WINDOW_NAME);
        frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
 // Set up the content pane.
        Image img = HighGui.toBufferedImage(srcGray);
        addComponentsToPane(frame.getContentPane(), img);
 // Use the content pane's default BorderLayout. No need for
 // setLayout(new BorderLayout());
 // Display the window.
        frame.pack();
        frame.setVisible(true);

Python

cv.namedWindow(window_name)

• Create \(2\) trackbars for the user to enter user input:
  • しきい値処理の種類: 2値化、0へのしきい値処理など...
  • しきい値

C++

 createTrackbar( trackbar_type,
                    window_name, &threshold_type,
                    max_type, Threshold_Demo ); // Create a Trackbar to choose type of Threshold
 
 createTrackbar( trackbar_value,
                    window_name, &threshold_value,
                    max_value, Threshold_Demo ); // Create a Trackbar to choose Threshold value

Java

        sliderPanel.add(new JLabel(TRACKBAR_TYPE));
 // Create Trackbar to choose type of Threshold
        JSlider sliderThreshType = new JSlider(0, MAX_TYPE, thresholdType);
        sliderThreshType.setMajorTickSpacing(1);
        sliderThreshType.setMinorTickSpacing(1);
        sliderThreshType.setPaintTicks(true);
        sliderThreshType.setPaintLabels(true);
        sliderPanel.add(sliderThreshType);
 
        sliderPanel.add(new JLabel(TRACKBAR_VALUE));
 // Create Trackbar to choose Threshold value
        JSlider sliderThreshValue = new JSlider(0, MAX_VALUE, 0);
        sliderThreshValue.setMajorTickSpacing(50);
        sliderThreshValue.setMinorTickSpacing(10);
        sliderThreshValue.setPaintTicks(true);
        sliderThreshValue.setPaintLabels(true);
        sliderPanel.add(sliderThreshValue);

Python

cv.createTrackbar(trackbar_type, window_name , 3, max_type, Threshold_Demo)
# Create Trackbar to choose Threshold value
cv.createTrackbar(trackbar_value, window_name , 0, max_value, Threshold_Demo)

• ユーザがしきい値としきい値処理の種類を入力するまで（またはプログラムが終了するまで）待機する。
• ユーザがいずれかのトラックバーの値を変更するたびに、関数 Threshold_Demo （Javaでは update）が呼び出される。

C++

 
static void Threshold_Demo( int, void* )
{
 /* 0: Binary
     1: Binary Inverted
     2: Threshold Truncated
     3: Threshold to Zero
     4: Threshold to Zero Inverted
    */
 threshold( src_gray, dst, threshold_value, max_binary_value, threshold_type );
 imshow( window_name, dst );
}

Java

 private void update() {
        Imgproc.threshold(srcGray, dst, thresholdValue, MAX_BINARY_VALUE, thresholdType);
        Image img = HighGui.toBufferedImage(dst);
        imgLabel.setIcon(new ImageIcon(img));
        frame.repaint();
    }

Python

def Threshold_Demo(val):
 #0: Binary
 #1: Binary Inverted
 #2: Threshold Truncated
 #3: Threshold to Zero
 #4: Threshold to Zero Inverted
    threshold_type = cv.getTrackbarPos(trackbar_type, window_name)
    threshold_value = cv.getTrackbarPos(trackbar_value, window_name)
    _, dst = cv.threshold(src_gray, threshold_value, max_binary_value, threshold_type )
 cv.imshow(window_name, dst)

ご覧のとおり、関数 cv::threshold が呼び出される。C++コードでは \(5\) 個の引数を与える。

• src_gray: 入力画像
• dst: 出力先（出力）画像
• threshold_value: しきい値処理を行う基準となる \(thresh\) の値
• max_BINARY_value: 2値化しきい値処理で使用する値（選択されたピクセルに設定する値）
• threshold_type: \(5\) 種類のしきい値処理のいずれか。これらは上記の関数のコメント部分に列挙されている。

結果

1. このプログラムをコンパイルした後、画像へのパスを引数として与えて実行する。例えば、次のような入力画像に対して実行する。

1. まず、反転2値化しきい値処理で画像をしきい値処理してみる。\(thresh\) より明るいピクセルは暗くなることが予想され、実際にそのようになる。これは下のスナップショットで確認できる（元画像では犬の舌と目が画像の他の部分と比べて特に明るいことに注目すると、それが出力画像に反映されている）。

1. 次に0へのしきい値処理を試す。これにより、最も暗いピクセル（しきい値未満）は完全に黒くなり、しきい値より大きい値を持つピクセルは元の値を保つことが予想される。これは出力画像の次のスナップショットで確認できる。