行列に対するマスク操作

目次

• テストケース
• コード
• 基本的な方法
• filter2D 関数

前のチュートリアル: OpenCVによる画像のスキャン、ルックアップテーブル、処理時間の計測方法
次のチュートリアル: 画像に対する演算

原著者	Bernát Gábor
互換性	OpenCV >= 3.0

行列に対するマスク演算は非常にシンプルである。基本的な考え方は、画像中の各ピクセルの値をマスク行列（カーネルとも呼ばれる）に従って再計算することである。このマスクには、近傍のピクセル（および対象ピクセル自身）が新しいピクセル値にどの程度影響を与えるかを調整する値が格納されている。数学的な観点では、指定した値を用いた加重平均を計算していることになる。

テストケース

画像のコントラスト強調手法の問題を考えてみよう。基本的には、画像の各ピクセルに対して次の式を適用したい。

\[I(i,j) = 5*I(i,j) - [ I(i-1,j) + I(i+1,j) + I(i,j-1) + I(i,j+1)]\]

\[\iff I(i,j)*M, \text{where } M = \bordermatrix{ _i\backslash ^j & -1 & 0 & +1 \cr -1 & 0 & -1 & 0 \cr 0 & -1 & 5 & -1 \cr +1 & 0 & -1 & 0 \cr }\]

1つ目の表記は数式を用いたもので、2つ目はマスクを用いて1つ目を簡潔にした版である。マスクを使うには、マスク行列の中心（上記ではゼロ・ゼロのインデックスで示される位置）を計算したいピクセルに合わせ、重なった行列の値とピクセル値を掛け合わせて合計する。やっていることは同じであるが、大きな行列の場合は後者の表記の方がはるかに見通しがよい。

コード

C++

このソースコードはこちらからダウンロードできる。あるいはOpenCVソースコードライブラリのサンプルディレクトリsamples/cpp/tutorial_code/core/mat_mask_operations/mat_mask_operations.cppを参照すること。

#include <opencv2/imgcodecs.hpp>
#include <opencv2/highgui.hpp>
#include <opencv2/imgproc.hpp>
#include <iostream>
 
using namespace std;
using namespace cv;
 
static void help(char* progName)
{
    cout << endl
        <<  "This program shows how to filter images with mask: the write it yourself and the"
        << "filter2d way. " << endl
        <<  "Usage:"                                                                        << endl
        << progName << " [image_path -- default lena.jpg] [G -- grayscale] "        << endl << endl;
}
 
 
void Sharpen(const Mat& myImage,Mat& Result);
 
int main( int argc, char* argv[])
{
    help(argv[0]);
 const char* filename = argc >=2 ? argv[1] : "lena.jpg";
 
 Mat src, dst0, dst1;
 
 if (argc >= 3 && !strcmp("G", argv[2]))
        src = imread( samples::findFile( filename ), IMREAD_GRAYSCALE);
 else
        src = imread( samples::findFile( filename ), IMREAD_COLOR);
 
 if (src.empty())
    {
        cerr << "Can't open image ["  << filename << "]" << endl;
 return EXIT_FAILURE;
    }
 
    namedWindow("Input", WINDOW_AUTOSIZE);
    namedWindow("Output", WINDOW_AUTOSIZE);
 
    imshow( "Input", src );
 double t = (double)getTickCount();
 
    Sharpen( src, dst0 );
 
    t = ((double)getTickCount() - t)/getTickFrequency();
    cout << "Hand written function time passed in seconds: " << t << endl;
 
    imshow( "Output", dst0 );
    waitKey();
 
 Mat kernel = (Mat_<char>(3,3) <<  0, -1,  0,
                                   -1,  5, -1,
                                    0, -1,  0);
 
    t = (double)getTickCount();
 
    filter2D( src, dst1, src.depth(), kernel );
    t = ((double)getTickCount() - t)/getTickFrequency();
    cout << "Built-in filter2D time passed in seconds:     " << t << endl;
 
    imshow( "Output", dst1 );
 
    waitKey();
 return EXIT_SUCCESS;
}
void Sharpen(const Mat& myImage,Mat& Result)
{
 CV_Assert(myImage.depth() == CV_8U);  // accept only uchar images
 
 const int nChannels = myImage.channels();
    Result.create(myImage.size(),myImage.type());
 
 for(int j = 1 ; j < myImage.rows-1; ++j)
    {
 const uchar* previous = myImage.ptr<uchar>(j - 1);
 const uchar* current  = myImage.ptr<uchar>(j    );
 const uchar* next     = myImage.ptr<uchar>(j + 1);
 
 uchar* output = Result.ptr<uchar>(j);
 
 for(int i= nChannels;i < nChannels*(myImage.cols-1); ++i)
        {
            output[i] = saturate_cast<uchar>(5*current[i]
                         -current[i-nChannels] - current[i+nChannels] - previous[i] - next[i]);
        }
    }
 
    Result.row(0).setTo(Scalar(0));
    Result.row(Result.rows-1).setTo(Scalar(0));
    Result.col(0).setTo(Scalar(0));
    Result.col(Result.cols-1).setTo(Scalar(0));
}

Java

このソースコードはこちらからダウンロードできる。あるいはOpenCVソースコードライブラリのサンプルディレクトリsamples/java/tutorial_code/core/mat_mask_operations/MatMaskOperations.javaを参照すること。

import org.opencv.core.Core;
import org.opencv.core.CvType;
import org.opencv.core.Mat;
import org.opencv.core.Scalar;
import org.opencv.highgui.HighGui;
import org.opencv.imgcodecs.Imgcodecs;
import org.opencv.imgproc.Imgproc;
 
class MatMaskOperationsRun {
 
 public void run(String[] args) {
 
        String filename = "../data/lena.jpg";
 
 int img_codec = Imgcodecs.IMREAD_COLOR;
 if (args.length != 0) {
            filename = args[0];
 if (args.length >= 2 && args[1].equals("G"))
                img_codec = Imgcodecs.IMREAD_GRAYSCALE;
        }
 
        Mat src = Imgcodecs.imread(filename, img_codec);
 
 if (src.empty()) {
            System.out.println("Can't open image [" + filename + "]");
            System.out.println("Program Arguments: [image_path -- default ../data/lena.jpg] [G -- grayscale]");
            System.exit(-1);
        }
 
        HighGui.namedWindow("Input", HighGui.WINDOW_AUTOSIZE);
        HighGui.namedWindow("Output", HighGui.WINDOW_AUTOSIZE);
 
        HighGui.imshow( "Input", src );
 double t = System.currentTimeMillis();
 
        Mat dst0 = sharpen(src, new Mat());
 
        t = ((double) System.currentTimeMillis() - t) / 1000;
        System.out.println("Hand written function time passed in seconds: " + t);
 
        HighGui.imshow( "Output", dst0 );
        HighGui.moveWindow("Output", 400, 400);
        HighGui.waitKey();
 
        Mat kern = new Mat(3, 3, CvType.CV_8S);
 int row = 0, col = 0;
        kern.put(row, col, 0, -1, 0, -1, 5, -1, 0, -1, 0);
 
        t = System.currentTimeMillis();
 
        Mat dst1 = new Mat();
        Imgproc.filter2D(src, dst1, src.depth(), kern);
        t = ((double) System.currentTimeMillis() - t) / 1000;
        System.out.println("Built-in filter2D time passed in seconds:     " + t);
 
        HighGui.imshow( "Output", dst1 );
 
        HighGui.waitKey();
        System.exit(0);
    }
 
 public static double saturate(double x) {
 return x > 255.0 ? 255.0 : (x < 0.0 ? 0.0 : x);
    }
 
 public Mat sharpen(Mat myImage, Mat Result) {
        myImage.convertTo(myImage, CvType.CV_8U);
 
 int nChannels = myImage.channels();
        Result.create(myImage.size(), myImage.type());
 
 for (int j = 1; j < myImage.rows() - 1; ++j) {
 for (int i = 1; i < myImage.cols() - 1; ++i) {
 double sum[] = new double[nChannels];
 
 for (int k = 0; k < nChannels; ++k) {
 
 double top = -myImage.get(j - 1, i)[k];
 double bottom = -myImage.get(j + 1, i)[k];
 double center = (5 * myImage.get(j, i)[k]);
 double left = -myImage.get(j, i - 1)[k];
 double right = -myImage.get(j, i + 1)[k];
 
 sum[k] = saturate(top + bottom + center + left + right);
                }
 
                Result.put(j, i, sum);
            }
        }
 
        Result.row(0).setTo(new Scalar(0));
        Result.row(Result.rows() - 1).setTo(new Scalar(0));
        Result.col(0).setTo(new Scalar(0));
        Result.col(Result.cols() - 1).setTo(new Scalar(0));
 
 return Result;
    }
}
 
public class MatMaskOperations {
 public static void main(String[] args) {
 // Load the native library.
        System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
 new MatMaskOperationsRun().run(args);
    }
}

Python

このソースコードはこちらからダウンロードできる。あるいはOpenCVソースコードライブラリのサンプルディレクトリsamples/python/tutorial_code/core/mat_mask_operations/mat_mask_operations.pyを参照すること。

from __future__ import print_function
import sys
import time
 
import numpy as np
import cv2 as cv
 
 
def is_grayscale(my_image):
 return len(my_image.shape) < 3
 
 
def saturated(sum_value):
 if sum_value > 255:
        sum_value = 255
 if sum_value < 0:
        sum_value = 0
 
 return sum_value
 
 
def sharpen(my_image):
 if is_grayscale(my_image):
        height, width = my_image.shape
 else:
        my_image = cv.cvtColor(my_image, cv.CV_8U)
        height, width, n_channels = my_image.shape
 
    result = np.zeros(my_image.shape, my_image.dtype)
 
 for j in range(1, height - 1):
 for i in range(1, width - 1):
 if is_grayscale(my_image):
                sum_value = 5 * my_image[j, i] - my_image[j + 1, i] - my_image[j - 1, i] \
                            - my_image[j, i + 1] - my_image[j, i - 1]
                result[j, i] = saturated(sum_value)
 else:
 for k in range(0, n_channels):
                    sum_value = 5 * my_image[j, i, k] - my_image[j + 1, i, k]  \
                                - my_image[j - 1, i, k] - my_image[j, i + 1, k]\
                                - my_image[j, i - 1, k]
                    result[j, i, k] = saturated(sum_value)
 
 return result
 
 
def main(argv):
    filename = 'lena.jpg'
 
    img_codec = cv.IMREAD_COLOR
 if argv:
        filename = sys.argv[1]
 if len(argv) >= 2 and sys.argv[2] == "G":
            img_codec = cv.IMREAD_GRAYSCALE
 
    src = cv.imread(cv.samples.findFile(filename), img_codec)
 
 if src is None:
        print("Can't open image [" + filename + "]")
        print("Usage:")
        print("mat_mask_operations.py [image_path -- default lena.jpg] [G -- grayscale]")
 return -1
 
 cv.namedWindow("Input", cv.WINDOW_AUTOSIZE)
 cv.namedWindow("Output", cv.WINDOW_AUTOSIZE)
 
 cv.imshow("Input", src)
    t = round(time.time())
 
    dst0 = sharpen(src)
 
    t = (time.time() - t)
    print("Hand written function time passed in seconds: %s" % t)
 
 cv.imshow("Output", dst0)
 cv.waitKey()
 
    t = time.time()
 
    kernel = np.array([[0, -1, 0],
                       [-1, 5, -1],
                       [0, -1, 0]], np.float32)  # kernel should be floating point type
 
    dst1 = cv.filter2D(src, -1, kernel)
 # ddepth = -1, means destination image has depth same as input image
 
 
    t = (time.time() - t)
    print("Built-in filter2D time passed in seconds:     %s" % t)
 
 cv.imshow("Output", dst1)
 
 cv.waitKey(0)
 cv.destroyAllWindows()
 return 0
 
 
if __name__ == "__main__":
 main(sys.argv[1:])

基本的な方法

それでは、基本的なピクセルアクセス方法を使う場合とfilter2D()関数を使う場合の両方で、これをどのように実現できるか見てみよう。

これを行う関数を次に示す。

C++

void Sharpen(const Mat& myImage,Mat& Result)
{
 CV_Assert(myImage.depth() == CV_8U);  // accept only uchar images
 
 const int nChannels = myImage.channels();
    Result.create(myImage.size(),myImage.type());
 
 for(int j = 1 ; j < myImage.rows-1; ++j)
    {
 const uchar* previous = myImage.ptr<uchar>(j - 1);
 const uchar* current  = myImage.ptr<uchar>(j    );
 const uchar* next     = myImage.ptr<uchar>(j + 1);
 
 uchar* output = Result.ptr<uchar>(j);
 
 for(int i= nChannels;i < nChannels*(myImage.cols-1); ++i)
        {
            output[i] = saturate_cast<uchar>(5*current[i]
                         -current[i-nChannels] - current[i+nChannels] - previous[i] - next[i]);
        }
    }
 
    Result.row(0).setTo(Scalar(0));
    Result.row(Result.rows-1).setTo(Scalar(0));
    Result.col(0).setTo(Scalar(0));
    Result.col(Result.cols-1).setTo(Scalar(0));
}

まず、入力画像のデータがunsigned char形式であることを確認する。これにはCV_Assert関数（マクロ）を用いる。これは内部の式がfalseのときにエラーをスローする。

 CV_Assert(myImage.depth() == CV_8U);  // accept only uchar images

Java

 public static double saturate(double x) {
 return x > 255.0 ? 255.0 : (x < 0.0 ? 0.0 : x);
    }
 
 public Mat sharpen(Mat myImage, Mat Result) {
        myImage.convertTo(myImage, CvType.CV_8U);
 
 int nChannels = myImage.channels();
        Result.create(myImage.size(), myImage.type());
 
 for (int j = 1; j < myImage.rows() - 1; ++j) {
 for (int i = 1; i < myImage.cols() - 1; ++i) {
 double sum[] = new double[nChannels];
 
 for (int k = 0; k < nChannels; ++k) {
 
 double top = -myImage.get(j - 1, i)[k];
 double bottom = -myImage.get(j + 1, i)[k];
 double center = (5 * myImage.get(j, i)[k]);
 double left = -myImage.get(j, i - 1)[k];
 double right = -myImage.get(j, i + 1)[k];
 
 sum[k] = saturate(top + bottom + center + left + right);
                }
 
                Result.put(j, i, sum);
            }
        }
 
        Result.row(0).setTo(new Scalar(0));
        Result.row(Result.rows() - 1).setTo(new Scalar(0));
        Result.col(0).setTo(new Scalar(0));
        Result.col(Result.cols() - 1).setTo(new Scalar(0));
 
 return Result;
    }

まず、入力画像のデータがunsigned 8ビット形式であることを確認する。

        myImage.convertTo(myImage, CvType.CV_8U);

Python

def is_grayscale(my_image):
 return len(my_image.shape) < 3
 
 
def saturated(sum_value):
 if sum_value > 255:
        sum_value = 255
 if sum_value < 0:
        sum_value = 0
 
 return sum_value
 
 
def sharpen(my_image):
 if is_grayscale(my_image):
        height, width = my_image.shape
 else:
        my_image = cv.cvtColor(my_image, cv.CV_8U)
        height, width, n_channels = my_image.shape
 
    result = np.zeros(my_image.shape, my_image.dtype)
 
 for j in range(1, height - 1):
 for i in range(1, width - 1):
 if is_grayscale(my_image):
                sum_value = 5 * my_image[j, i] - my_image[j + 1, i] - my_image[j - 1, i] \
                            - my_image[j, i + 1] - my_image[j, i - 1]
                result[j, i] = saturated(sum_value)
 else:
 for k in range(0, n_channels):
                    sum_value = 5 * my_image[j, i, k] - my_image[j + 1, i, k]  \
                                - my_image[j - 1, i, k] - my_image[j, i + 1, k]\
                                - my_image[j, i - 1, k]
                    result[j, i, k] = saturated(sum_value)
 
 return result

まず、入力画像のデータがunsigned 8ビット形式であることを確認する。

my_image = cv.cvtColor(my_image, cv.CV_8U)

入力と同じサイズ・同じ型の出力画像を生成する。格納方法のセクションで述べたように、チャンネル数に応じて1つまたは複数のサブカラムを持つことがある。

C++

これらをポインタを介して走査するため、要素の総数はこの数値に依存する。

 const int nChannels = myImage.channels();
    Result.create(myImage.size(),myImage.type());

Java

 int nChannels = myImage.channels();
        Result.create(myImage.size(), myImage.type());

Python

height, width, n_channels = my_image.shape
result = np.zeros(my_image.shape, my_image.dtype)

C++

ピクセルへのアクセスにはプレーンなC言語の[]演算子を用いる。複数の行に同時にアクセスする必要があるため、それぞれの行（前の行、現在の行、次の行）に対するポインタを取得する。さらに計算結果を保存する先を指すポインタも必要である。あとは[]演算子で適切な要素にアクセスするだけである。出力ポインタを前に進めるには、各演算のたびにこれを（1バイト分）増やすだけでよい。

 for(int j = 1 ; j < myImage.rows-1; ++j)
    {
 const uchar* previous = myImage.ptr<uchar>(j - 1);
 const uchar* current  = myImage.ptr<uchar>(j    );
 const uchar* next     = myImage.ptr<uchar>(j + 1);
 
 uchar* output = Result.ptr<uchar>(j);
 
 for(int i= nChannels;i < nChannels*(myImage.cols-1); ++i)
        {
            output[i] = saturate_cast<uchar>(5*current[i]
                         -current[i-nChannels] - current[i+nChannels] - previous[i] - next[i]);
        }
    }

画像の境界では、上記の表記は存在しないピクセル位置（マイナス1・マイナス1など）を指してしまう。これらの点では数式が未定義となる。単純な解決策は、これらの点ではカーネルを適用せず、たとえば境界上のピクセルをゼロに設定することである。

    Result.row(0).setTo(Scalar(0));
    Result.row(Result.rows-1).setTo(Scalar(0));
    Result.col(0).setTo(Scalar(0));
    Result.col(Result.cols-1).setTo(Scalar(0));

Java

複数の行や列にアクセスする必要があるが、これは現在の中心(i,j)に1を加算または減算することで実現できる。続いて総和を求め、その新しい値をResult行列に格納する。

 for (int j = 1; j < myImage.rows() - 1; ++j) {
 for (int i = 1; i < myImage.cols() - 1; ++i) {
 double sum[] = new double[nChannels];
 
 for (int k = 0; k < nChannels; ++k) {
 
 double top = -myImage.get(j - 1, i)[k];
 double bottom = -myImage.get(j + 1, i)[k];
 double center = (5 * myImage.get(j, i)[k]);
 double left = -myImage.get(j, i - 1)[k];
 double right = -myImage.get(j, i + 1)[k];
 
 sum[k] = saturate(top + bottom + center + left + right);
                }
 
                Result.put(j, i, sum);
            }
        }

画像の境界では、上記の表記は存在しないピクセル位置（(-1,-1)など）を指してしまう。これらの点では数式が未定義となる。単純な解決策は、これらの点ではカーネルを適用せず、たとえば境界上のピクセルをゼロに設定することである。

        Result.row(0).setTo(new Scalar(0));
        Result.row(Result.rows() - 1).setTo(new Scalar(0));
        Result.col(0).setTo(new Scalar(0));
        Result.col(Result.cols() - 1).setTo(new Scalar(0));

Python

複数の行や列にアクセスする必要があるが、これは現在の中心(i,j)に1を加算または減算することで実現できる。続いて総和を求め、その新しい値をResult行列に格納する。

 for j in range(1, height - 1):
 for i in range(1, width - 1):
 if is_grayscale(my_image):
                sum_value = 5 * my_image[j, i] - my_image[j + 1, i] - my_image[j - 1, i] \
                            - my_image[j, i + 1] - my_image[j, i - 1]
                result[j, i] = saturated(sum_value)
 else:
 for k in range(0, n_channels):
                    sum_value = 5 * my_image[j, i, k] - my_image[j + 1, i, k]  \
                                - my_image[j - 1, i, k] - my_image[j, i + 1, k]\
                                - my_image[j, i - 1, k]
                    result[j, i, k] = saturated(sum_value)

filter2D関数

このようなフィルタの適用は画像処理で非常によく行われるため、OpenCVにはマスク（場所によってはカーネルとも呼ばれる）の適用を担う関数が用意されている。これを使うには、まずマスクを保持するオブジェクトを定義する必要がある。

C++

 Mat kernel = (Mat_<char>(3,3) <<  0, -1,  0,
                                   -1,  5, -1,
                                    0, -1,  0);

Java

        Mat kern = new Mat(3, 3, CvType.CV_8S);
 int row = 0, col = 0;
        kern.put(row, col, 0, -1, 0, -1, 5, -1, 0, -1, 0);

Python

    kernel = np.array([[0, -1, 0],
                       [-1, 5, -1],
                       [0, -1, 0]], np.float32)  # kernel should be floating point type

次にfilter2D()関数を呼び出し、入力画像、出力画像、および使用するカーネルを指定する。

C++

 filter2D( src, dst1, src.depth(), kernel );

Java

        Imgproc.filter2D(src, dst1, src.depth(), kern);

Python

    dst1 = cv.filter2D(src, -1, kernel)
 # ddepth = -1, means destination image has depth same as input image

この関数にはさらに、カーネルの中心を指定する5番目の省略可能な引数、Kに格納する前にフィルタ済みピクセルへ任意の値を加算するための6番目の引数、そして演算が未定義となる領域（境界）でどう処理するかを決める7番目の引数がある。

この関数はより短く、冗長さも少ない。さらにいくつかの最適化が施されているため、通常は手書きの方法よりも高速である。たとえば筆者の環境でのテストでは、後者が13ミリ秒しかかからなかったのに対し、前者は約31ミリ秒かかった。かなりの差である。

例:

C++

プログラムを実際に実行している様子は、YouTubeチャンネルで確認できる。