ヒストグラムの計算

目次

• Goal
  • ヒストグラムとは何か?
  • OpenCV が提供するもの
• コード
• 説明
• 結果

前のチュートリアル: ヒストグラム平坦化
次のチュートリアル: ヒストグラム比較

原著者	Ana Huamán
互換性	OpenCV >= 3.0

目標

このチュートリアルでは、以下の方法を学ぶ:

• OpenCVの関数 cv::split を使って、画像を対応するプレーンに分割する。
• OpenCVの関数 cv::calcHist を使って画像配列のヒストグラムを計算する
• 関数 cv::normalize を使って配列を正規化する

覚え書き

前のチュートリアル（ヒストグラム平坦化）では、画像ヒストグラムと呼ばれる特定の種類のヒストグラムについて述べた。今回はそれをより一般的な概念として考える。読み進めてほしい!

ヒストグラムとは何か?

• ヒストグラムとは、あらかじめ定義されたビンの集合に整理されたデータのカウントを集めたものである
• データと言うとき、それを輝度値に限定しているわけではない（前のチュートリアル ヒストグラム平坦化 で見たように）。集めるデータは、画像を記述するうえで有用だと考えるどんな特徴であってもよい。
• 例を見てみよう。ある行列が画像の情報（すなわち \(0-255\) の範囲の輝度）を含んでいるとする。

• このデータを整理された形でカウントしたい場合はどうなるだろうか。この場合の情報値の範囲が256個の値であることが分かっているので、その範囲を次のように下位部分（ビンと呼ぶ）に分割できる。

  \[\begin{array}{l} [0, 255] = { [0, 15] \cup [16, 31] \cup ....\cup [240,255] } \\ range = { bin_{1} \cup bin_{2} \cup ....\cup bin_{n = 15} } \end{array}\]

  そして、各 \(bin_{i}\) の範囲に入るピクセル数をカウントしていける。これを上記の例に適用すると、下の画像が得られる（x軸はビンを、y軸は各ビン内のピクセル数を表す）。

• これはヒストグラムがどのように機能し、なぜ有用なのかを示す単純な例にすぎない。ヒストグラムは色の輝度だけでなく、測定したい任意の画像特徴（すなわち勾配、方向など）のカウントを保持できる。
• Let's identify some parts of the histogram:
  1. dims: データを集めたいパラメータの数。この例では、グレースケール画像で各ピクセルの輝度値のみをカウントしているため、dims = 1 である。
  2. bins: 各次元における分割数である。この例では bins = 16 である
  3. range: 測定する値の範囲。この場合は range = [0,255]
• 2つの特徴を数えたい場合はどうなるだろうか。この場合、得られるヒストグラムは3Dプロットになる（x と y がそれぞれの特徴の \(bin_{x}\) と \(bin_{y}\) に対応し、z が \((bin_{x}, bin_{y})\) の各組み合わせのカウント数になる）。さらに多くの特徴についても同様である（もちろん、より扱いが難しくなる）。

OpenCV が提供するもの

単純な用途向けに、OpenCVは関数 cv::calcHist を実装している。これは配列の集合（通常は画像や画像のプレーン）のヒストグラムを計算する。最大32次元まで扱える。以下のコードで実際に見ていく。

コード

• What does this program do?
  • 画像を読み込む
  • 関数 cv::split を使って画像を R, G, B のプレーンに分割する
  • 関数 cv::calcHist を呼び出して、各 1 チャンネルプレーンのヒストグラムを計算する
  • 3つのヒストグラムをウィンドウにプロットする

C++

• ダウンロード可能なコード: クリック こちら
• コード全体:

   
  #include "opencv2/highgui.hpp"
  #include "opencv2/imgcodecs.hpp"
  #include "opencv2/imgproc.hpp"
  #include <iostream>
   
  using namespace std;
  using namespace cv;
   
  int main(int argc, char** argv)
  {
   CommandLineParser parser( argc, argv, "{@input | lena.jpg | input image}" );
   Mat src = imread( samples::findFile( parser.get<String>( "@input" ) ), IMREAD_COLOR );
   if( src.empty() )
   {
   return EXIT_FAILURE;
   }
   
   vector<Mat> bgr_planes;
   split( src, bgr_planes );
   
   int histSize = 256;
   
   float range[] = { 0, 256 }; //the upper boundary is exclusive
   const float* histRange[] = { range };
   
   bool uniform = true, accumulate = false;
   
   Mat b_hist, g_hist, r_hist;
   calcHist( &bgr_planes[0], 1, 0, Mat(), b_hist, 1, &histSize, histRange, uniform, accumulate );
   calcHist( &bgr_planes[1], 1, 0, Mat(), g_hist, 1, &histSize, histRange, uniform, accumulate );
   calcHist( &bgr_planes[2], 1, 0, Mat(), r_hist, 1, &histSize, histRange, uniform, accumulate );
   
   int hist_w = 512, hist_h = 400;
   int bin_w = cvRound( (double) hist_w/histSize );
   
   Mat histImage( hist_h, hist_w, CV_8UC3, Scalar( 0,0,0) );
   
   normalize(b_hist, b_hist, 0, histImage.rows, NORM_MINMAX, -1, Mat() );
   normalize(g_hist, g_hist, 0, histImage.rows, NORM_MINMAX, -1, Mat() );
   normalize(r_hist, r_hist, 0, histImage.rows, NORM_MINMAX, -1, Mat() );
   
   for( int i = 1; i < histSize; i++ )
   {
   line( histImage, Point( bin_w*(i-1), hist_h - cvRound(b_hist.at<float>(i-1)) ),
   Point( bin_w*(i), hist_h - cvRound(b_hist.at<float>(i)) ),
   Scalar( 255, 0, 0), 2, 8, 0 );
   line( histImage, Point( bin_w*(i-1), hist_h - cvRound(g_hist.at<float>(i-1)) ),
   Point( bin_w*(i), hist_h - cvRound(g_hist.at<float>(i)) ),
   Scalar( 0, 255, 0), 2, 8, 0 );
   line( histImage, Point( bin_w*(i-1), hist_h - cvRound(r_hist.at<float>(i-1)) ),
   Point( bin_w*(i), hist_h - cvRound(r_hist.at<float>(i)) ),
   Scalar( 0, 0, 255), 2, 8, 0 );
   }
   
   imshow("Source image", src );
   imshow("calcHist Demo", histImage );
   waitKey();
   
   return EXIT_SUCCESS;
  }

Java

• ダウンロード可能なコード: クリック こちら
• コードの全体像:

  import java.util.ArrayList;
  import java.util.List;
   
  import org.opencv.core.Core;
  import org.opencv.core.CvType;
  import org.opencv.core.Mat;
  import org.opencv.core.MatOfFloat;
  import org.opencv.core.MatOfInt;
  import org.opencv.core.Point;
  import org.opencv.core.Scalar;
  import org.opencv.highgui.HighGui;
  import org.opencv.imgcodecs.Imgcodecs;
  import org.opencv.imgproc.Imgproc;
   
  class CalcHist {
   public void run(String[] args) {
   String filename = args.length > 0 ? args[0] : "../data/lena.jpg";
   Mat src = Imgcodecs.imread(filename);
   if (src.empty()) {
   System.err.println("Cannot read image: " + filename);
   System.exit(0);
   }
   
   List<Mat> bgrPlanes = new ArrayList<>();
   Core.split(src, bgrPlanes);
   
   int histSize = 256;
   
   float[] range = {0, 256}; //the upper boundary is exclusive
   MatOfFloat histRange = new MatOfFloat(range);
   
   boolean accumulate = false;
   
   Mat bHist = new Mat(), gHist = new Mat(), rHist = new Mat();
   Imgproc.calcHist(bgrPlanes, new MatOfInt(0), new Mat(), bHist, new MatOfInt(histSize), histRange, accumulate);
   Imgproc.calcHist(bgrPlanes, new MatOfInt(1), new Mat(), gHist, new MatOfInt(histSize), histRange, accumulate);
   Imgproc.calcHist(bgrPlanes, new MatOfInt(2), new Mat(), rHist, new MatOfInt(histSize), histRange, accumulate);
   
   int histW = 512, histH = 400;
   int binW = (int) Math.round((double) histW / histSize);
   
   Mat histImage = new Mat( histH, histW, CvType.CV_8UC3, new Scalar( 0,0,0) );
   
   Core.normalize(bHist, bHist, 0, histImage.rows(), Core.NORM_MINMAX);
   Core.normalize(gHist, gHist, 0, histImage.rows(), Core.NORM_MINMAX);
   Core.normalize(rHist, rHist, 0, histImage.rows(), Core.NORM_MINMAX);
   
   float[] bHistData = new float[(int) (bHist.total() * bHist.channels())];
   bHist.get(0, 0, bHistData);
   float[] gHistData = new float[(int) (gHist.total() * gHist.channels())];
   gHist.get(0, 0, gHistData);
   float[] rHistData = new float[(int) (rHist.total() * rHist.channels())];
   rHist.get(0, 0, rHistData);
   
   for( int i = 1; i < histSize; i++ ) {
   Imgproc.line(histImage, new Point(binW * (i - 1), histH - Math.round(bHistData[i - 1])),
   new Point(binW * (i), histH - Math.round(bHistData[i])), new Scalar(255, 0, 0), 2);
   Imgproc.line(histImage, new Point(binW * (i - 1), histH - Math.round(gHistData[i - 1])),
   new Point(binW * (i), histH - Math.round(gHistData[i])), new Scalar(0, 255, 0), 2);
   Imgproc.line(histImage, new Point(binW * (i - 1), histH - Math.round(rHistData[i - 1])),
   new Point(binW * (i), histH - Math.round(rHistData[i])), new Scalar(0, 0, 255), 2);
   }
   
   HighGui.imshow( "Source image", src );
   HighGui.imshow( "calcHist Demo", histImage );
   HighGui.waitKey(0);
   
   System.exit(0);
   }
  }
   
  public class CalcHistDemo {
   public static void main(String[] args) {
   // Load the native OpenCV library
   System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
   
   new CalcHist().run(args);
   }
  }

Python

• ダウンロード可能なコード: クリック こちら
• コードの全体像:

  from __future__ import print_function
  from __future__ import division
  import cv2 as cv
  import numpy as np
  import argparse
   
   
  parser = argparse.ArgumentParser(description='Code for Histogram Calculation tutorial.')
  parser.add_argument('--input', help='Path to input image.', default='lena.jpg')
  args = parser.parse_args()
   
  src = cv.imread(cv.samples.findFile(args.input))
  if src is None:
   print('Could not open or find the image:', args.input)
   exit(0)
   
   
   
  bgr_planes = cv.split(src)
   
   
   
  histSize = 256
   
   
   
  histRange = (0, 256) # the upper boundary is exclusive
   
   
   
  accumulate = False
   
   
   
  b_hist = cv.calcHist(bgr_planes, [0], None, [histSize], histRange, accumulate=accumulate)
  g_hist = cv.calcHist(bgr_planes, [1], None, [histSize], histRange, accumulate=accumulate)
  r_hist = cv.calcHist(bgr_planes, [2], None, [histSize], histRange, accumulate=accumulate)
   
   
   
  hist_w = 512
  hist_h = 400
  bin_w = int(round( hist_w/histSize ))
   
  histImage = np.zeros((hist_h, hist_w, 3), dtype=np.uint8)
   
   
   
  cv.normalize(b_hist, b_hist, alpha=0, beta=hist_h, norm_type=cv.NORM_MINMAX)
  cv.normalize(g_hist, g_hist, alpha=0, beta=hist_h, norm_type=cv.NORM_MINMAX)
  cv.normalize(r_hist, r_hist, alpha=0, beta=hist_h, norm_type=cv.NORM_MINMAX)
   
   
   
  for i in range(1, histSize):
   cv.line(histImage, ( bin_w*(i-1), hist_h - int(b_hist[i-1]) ),
   ( bin_w*(i), hist_h - int(b_hist[i]) ),
   ( 255, 0, 0), thickness=2)
   cv.line(histImage, ( bin_w*(i-1), hist_h - int(g_hist[i-1]) ),
   ( bin_w*(i), hist_h - int(g_hist[i]) ),
   ( 0, 255, 0), thickness=2)
   cv.line(histImage, ( bin_w*(i-1), hist_h - int(r_hist[i-1]) ),
   ( bin_w*(i), hist_h - int(r_hist[i]) ),
   ( 0, 0, 255), thickness=2)
   
   
   
  cv.imshow('Source image', src)
  cv.imshow('calcHist Demo', histImage)
  cv.waitKey()
   

説明

• 元画像を読み込む

  C++

   CommandLineParser parser( argc, argv, "{@input | lena.jpg | input image}" );
   Mat src = imread( samples::findFile( parser.get<String>( "@input" ) ), IMREAD_COLOR );
   if( src.empty() )
      {
   return EXIT_FAILURE;
      }

  Java

   String filename = args.length > 0 ? args[0] : "../data/lena.jpg";
          Mat src = Imgcodecs.imread(filename);
   if (src.empty()) {
              System.err.println("Cannot read image: " + filename);
              System.exit(0);
          }

  Python

  parser = argparse.ArgumentParser(description='Code for Histogram Calculation tutorial.')
  parser.add_argument('--input', help='Path to input image.', default='lena.jpg')
  args = parser.parse_args()
   
  src = cv.imread(cv.samples.findFile(args.input))
  if src is None:
      print('Could not open or find the image:', args.input)
      exit(0)

• 元画像を R, G, B の3つのプレーンに分離する。これにはOpenCVの関数 cv::split を使う:

  C++

      vector<Mat> bgr_planes;
   split( src, bgr_planes );

  Java

          List<Mat> bgrPlanes = new ArrayList<>();
          Core.split(src, bgrPlanes);

  Python

  bgr_planes = cv.split(src)

  入力は分割する画像（この場合は3チャンネル）であり、出力は Mat のベクトルである）

• これで各プレーンのヒストグラムを設定する準備が整った。ここでは B, G, R のプレーンを扱っているため、値は \([0,255]\) の区間の範囲をとることがわかっている

• ビン (bin) の数を決める (5, 10...):

  C++

   int histSize = 256;

  Java

   int histSize = 256;

  Python

  histSize = 256

• 値の範囲を設定する（前述のとおり、0から255の間）

  C++

   float range[] = { 0, 256 }; //the upper boundary is exclusive
   const float* histRange[] = { range };

  Java

   float[] range = {0, 256}; //the upper boundary is exclusive
          MatOfFloat histRange = new MatOfFloat(range);

  Python

  histRange = (0, 256) # the upper boundary is exclusive

• ビンを同じサイズ（一様）にし、最初にヒストグラムをクリアしたいので、次のようにする:

  C++

   bool uniform = true, accumulate = false;

  Java

   boolean accumulate = false;

  Python

  accumulate = False

• OpenCVの関数 cv::calcHist を使ってヒストグラムを計算する:

  C++

   Mat b_hist, g_hist, r_hist;
   calcHist( &bgr_planes[0], 1, 0, Mat(), b_hist, 1, &histSize, histRange, uniform, accumulate );
   calcHist( &bgr_planes[1], 1, 0, Mat(), g_hist, 1, &histSize, histRange, uniform, accumulate );
   calcHist( &bgr_planes[2], 1, 0, Mat(), r_hist, 1, &histSize, histRange, uniform, accumulate );

  Java

          Mat bHist = new Mat(), gHist = new Mat(), rHist = new Mat();
          Imgproc.calcHist(bgrPlanes, new MatOfInt(0), new Mat(), bHist, new MatOfInt(histSize), histRange, accumulate);
          Imgproc.calcHist(bgrPlanes, new MatOfInt(1), new Mat(), gHist, new MatOfInt(histSize), histRange, accumulate);
          Imgproc.calcHist(bgrPlanes, new MatOfInt(2), new Mat(), rHist, new MatOfInt(histSize), histRange, accumulate);

  Python

  b_hist = cv.calcHist(bgr_planes, [0], None, [histSize], histRange, accumulate=accumulate)
  g_hist = cv.calcHist(bgr_planes, [1], None, [histSize], histRange, accumulate=accumulate)
  r_hist = cv.calcHist(bgr_planes, [2], None, [histSize], histRange, accumulate=accumulate)

• where the arguments are (C++ code):
  • &bgr_planes[0]: 元の配列
  • 1: 元の配列の数（この場合は1つ使用している。ここに配列のリストを入力することもできる）
  • 0: 測定するチャンネル (dim)。この場合は単に強度（各配列はシングルチャンネル）なので、0と書くだけでよい。
  • Mat(): 元の配列に使用するマスク（0は無視するピクセルを示す）。定義しなければ使用されない
  • b_hist: ヒストグラムを格納する Mat オブジェクト
  • 1: ヒストグラムの次元数。
  • histSize: 使用する各次元あたりのビンの数
  • histRange: 各次元ごとに測定する値の範囲
  • uniform と accumulate: ビンのサイズは同じで、最初にヒストグラムがクリアされる。

• ヒストグラムを表示するための画像を作成する:

  C++

   int hist_w = 512, hist_h = 400;
   int bin_w = cvRound( (double) hist_w/histSize );
   
   Mat histImage( hist_h, hist_w, CV_8UC3, Scalar( 0,0,0) );

  Java

   int histW = 512, histH = 400;
   int binW = (int) Math.round((double) histW / histSize);
   
          Mat histImage = new Mat( histH, histW, CvType.CV_8UC3, new Scalar( 0,0,0) );

  Python

  hist_w = 512
  hist_h = 400
  bin_w = int(round( hist_w/histSize ))
   
  histImage = np.zeros((hist_h, hist_w, 3), dtype=np.uint8)

• 描画の前に、まずヒストグラムを cv::normalize で正規化し、入力した引数で示される範囲に値が収まるようにしている点に注意:

  C++

   normalize(b_hist, b_hist, 0, histImage.rows, NORM_MINMAX, -1, Mat() );
   normalize(g_hist, g_hist, 0, histImage.rows, NORM_MINMAX, -1, Mat() );
   normalize(r_hist, r_hist, 0, histImage.rows, NORM_MINMAX, -1, Mat() );

  Java

          Core.normalize(bHist, bHist, 0, histImage.rows(), Core.NORM_MINMAX);
          Core.normalize(gHist, gHist, 0, histImage.rows(), Core.NORM_MINMAX);
          Core.normalize(rHist, rHist, 0, histImage.rows(), Core.NORM_MINMAX);

  Python

  cv.normalize(b_hist, b_hist, alpha=0, beta=hist_h, norm_type=cv.NORM_MINMAX)
  cv.normalize(g_hist, g_hist, alpha=0, beta=hist_h, norm_type=cv.NORM_MINMAX)
  cv.normalize(r_hist, r_hist, alpha=0, beta=hist_h, norm_type=cv.NORM_MINMAX)

• this function receives these arguments (C++ code):
  • b_hist: 入力配列
  • b_hist: 出力先の正規化済み配列（入力と同じでもよい）
  • 0 と histImage.rows: この例では、r_hist の値を正規化する際の下限と上限である
  • NORM_MINMAX: 正規化の種類を示す引数（前述のとおり、設定した2つの限界値の間に値を調整する）
  • -1: 出力先の正規化済み配列が入力と同じ型になることを意味する
  • Mat(): 省略可能なマスク

• ビンへのアクセス方法に注目する（この場合はこの1Dヒストグラムにおいて）:

  C++

   for( int i = 1; i < histSize; i++ )
      {
   line( histImage, Point( bin_w*(i-1), hist_h - cvRound(b_hist.at<float>(i-1)) ),
   Point( bin_w*(i), hist_h - cvRound(b_hist.at<float>(i)) ),
   Scalar( 255, 0, 0), 2, 8, 0  );
   line( histImage, Point( bin_w*(i-1), hist_h - cvRound(g_hist.at<float>(i-1)) ),
   Point( bin_w*(i), hist_h - cvRound(g_hist.at<float>(i)) ),
   Scalar( 0, 255, 0), 2, 8, 0  );
   line( histImage, Point( bin_w*(i-1), hist_h - cvRound(r_hist.at<float>(i-1)) ),
   Point( bin_w*(i), hist_h - cvRound(r_hist.at<float>(i)) ),
   Scalar( 0, 0, 255), 2, 8, 0  );
      }

  Java

   float[] bHistData = new float[(int) (bHist.total() * bHist.channels())];
          bHist.get(0, 0, bHistData);
   float[] gHistData = new float[(int) (gHist.total() * gHist.channels())];
          gHist.get(0, 0, gHistData);
   float[] rHistData = new float[(int) (rHist.total() * rHist.channels())];
          rHist.get(0, 0, rHistData);
   
   for( int i = 1; i < histSize; i++ ) {
              Imgproc.line(histImage, new Point(binW * (i - 1), histH - Math.round(bHistData[i - 1])),
   new Point(binW * (i), histH - Math.round(bHistData[i])), new Scalar(255, 0, 0), 2);
              Imgproc.line(histImage, new Point(binW * (i - 1), histH - Math.round(gHistData[i - 1])),
   new Point(binW * (i), histH - Math.round(gHistData[i])), new Scalar(0, 255, 0), 2);
              Imgproc.line(histImage, new Point(binW * (i - 1), histH - Math.round(rHistData[i - 1])),
   new Point(binW * (i), histH - Math.round(rHistData[i])), new Scalar(0, 0, 255), 2);
          }

  Python

  for i in range(1, histSize):
   cv.line(histImage, ( bin_w*(i-1), hist_h - int(b_hist[i-1]) ),
              ( bin_w*(i), hist_h - int(b_hist[i]) ),
              ( 255, 0, 0), thickness=2)
   cv.line(histImage, ( bin_w*(i-1), hist_h - int(g_hist[i-1]) ),
              ( bin_w*(i), hist_h - int(g_hist[i]) ),
              ( 0, 255, 0), thickness=2)
   cv.line(histImage, ( bin_w*(i-1), hist_h - int(r_hist[i-1]) ),
              ( bin_w*(i), hist_h - int(r_hist[i]) ),
              ( 0, 0, 255), thickness=2)

  次の式を使う（C++コード）:

  b_hist.at<float>(i)

  ここで \(i\) は次元を示す。2Dヒストグラムの場合は、次のようなものを使うことになる:

  b_hist.at<float>( i, j )

• 最後にヒストグラムを表示し、ユーザーが終了するのを待つ:

  C++

   imshow("Source image", src );
   imshow("calcHist Demo", histImage );
   waitKey();

  Java

          HighGui.imshow( "Source image", src );
          HighGui.imshow( "calcHist Demo", histImage );
          HighGui.waitKey(0);

  Python

  cv.imshow('Source image', src)
  cv.imshow('calcHist Demo', histImage)
  cv.waitKey()

結果

1. 次に示すような画像を入力引数として使うと:

1. 次のヒストグラムが生成される: