画像への境界の追加

目次

• 目標
• 理論
• コード
• Explanation
  • 変数の宣言
  • 画像の読み込み
  • ウィンドウの作成
  • 引数の初期化
  • ループ
  • ランダムな色
  • 画像の周囲に境界を作る
  • 結果の表示
• 結果

前のチュートリアル: 独自の線形フィルタを作る！
次のチュートリアル: Sobel 微分

原著者	Ana Huamán
互換性	OpenCV >= 3.0

目標

このチュートリアルでは、以下の方法を学ぶ:

• OpenCV の関数 copyMakeBorder() を使って境界（画像への追加のパディング）を設定する。

理論

覚え書き

以下の説明は、BradskiとKaehlerによる書籍 Learning OpenCV に基づくものである。

1. 前のチュートリアルでは、画像に対して操作を行うために畳み込みを使う方法を学んだ。ここで自然に生じる問題のひとつが、境界の扱い方である。評価対象の点が画像の端にある場合、どのように畳み込みを行えばよいのか。
2. ほとんどの OpenCV 関数が行うのは、与えられた画像を少し大きい別の画像にコピーし、その後境界を自動的にパディングすることである（パディングは下記サンプルコードで説明されるいずれかの方法による）。これにより、問題なく必要なピクセルに対して畳み込みを実行できる（追加のパディングは処理後に切り取られる）。

3. このチュートリアルでは、画像に追加のパディング（境界）を定義する2つの方法を簡単に見ていく。

   1. BORDER_CONSTANT: 一定の値で画像をパディングする（例：黒、すなわち \(0\)）
   2. BORDER_REPLICATE: 元画像の最も端にある行または列を追加の境界に複製する。

   これはコードのセクションでより明確に示される。

• What does this program do?
  • 画像を読み込む

  • どの種類のパディングを入力画像に使うかをユーザーが選べるようにする。2つの選択肢がある。

    1. 一定値の境界: 境界全体に一定値のパディングを適用する。この値は0.5秒ごとにランダムに更新される。
    2. 複製された境界: 元画像の端のピクセル値から境界が複製される。

    ユーザーは 'c'（一定値）または 'r'（複製）を押すことでいずれかの選択肢を選ぶ

  • ユーザーが 'ESC' を押すとプログラムは終了する

コード

チュートリアルのコードを以下の行に示す。

C++

ここ からダウンロードすることもできる

 
#include "opencv2/imgproc.hpp"
#include "opencv2/imgcodecs.hpp"
#include "opencv2/highgui.hpp"
 
using namespace cv;
 
// Declare the variables
Mat src, dst;
int top, bottom, left, right;
int borderType = BORDER_CONSTANT;
const char* window_name = "copyMakeBorder Demo";
RNG rng(12345);
 
int main( int argc, char** argv )
{
 const char* imageName = argc >=2 ? argv[1] : "lena.jpg";
 
 // Loads an image
    src = imread( samples::findFile( imageName ), IMREAD_COLOR ); // Load an image
 
 // Check if image is loaded fine
 if( src.empty()) {
        printf(" Error opening image\n");
        printf(" Program Arguments: [image_name -- default lena.jpg] \n");
 return -1;
    }
 
 // Brief how-to for this program
    printf( "\n \t copyMakeBorder Demo: \n" );
    printf( "\t -------------------- \n" );
    printf( " ** Press 'c' to set the border to a random constant value \n");
    printf( " ** Press 'r' to set the border to be replicated \n");
    printf( " ** Press 'ESC' to exit the program \n");
 
    namedWindow( window_name, WINDOW_AUTOSIZE );
 
 // Initialize arguments for the filter
    top = (int) (0.05*src.rows); bottom = top;
    left = (int) (0.05*src.cols); right = left;
 
 for(;;)
    {
 Scalar value( rng.uniform(0, 255), rng.uniform(0, 255), rng.uniform(0, 255) );
 
        copyMakeBorder( src, dst, top, bottom, left, right, borderType, value );
 
        imshow( window_name, dst );
 
 char c = (char)waitKey(500);
 if( c == 27 )
        { break; }
 else if( c == 'c' )
        { borderType = BORDER_CONSTANT; }
 else if( c == 'r' )
        { borderType = BORDER_REPLICATE; }
    }
 
 return 0;
}

Java

ここ からダウンロードすることもできる

 
import org.opencv.core.*;
import org.opencv.highgui.HighGui;
import org.opencv.imgcodecs.Imgcodecs;
 
import java.util.Random;
 
class CopyMakeBorderRun {
 
 public void run(String[] args) {
 
 // Declare the variables
        Mat src, dst = new Mat();
 int top, bottom, left, right;
 int borderType = Core.BORDER_CONSTANT;
        String window_name = "copyMakeBorder Demo";
        Random rng;
 
        String imageName = ((args.length > 0) ? args[0] : "../data/lena.jpg");
 
 // Load an image
        src = Imgcodecs.imread(imageName, Imgcodecs.IMREAD_COLOR);
 
 // Check if image is loaded fine
 if( src.empty() ) {
            System.out.println("Error opening image!");
            System.out.println("Program Arguments: [image_name -- default ../data/lena.jpg] \n");
            System.exit(-1);
        }
 
 // Brief how-to for this program
        System.out.println("\n" +
 "\t copyMakeBorder Demo: \n" +
 "\t -------------------- \n" +
 " ** Press 'c' to set the border to a random constant value \n" +
 " ** Press 'r' to set the border to be replicated \n" +
 " ** Press 'ESC' to exit the program \n");
 
        HighGui.namedWindow( window_name, HighGui.WINDOW_AUTOSIZE );
 
 // Initialize arguments for the filter
        top = (int) (0.05*src.rows()); bottom = top;
        left = (int) (0.05*src.cols()); right = left;
 
 while( true ) {
            rng = new Random();
            Scalar value = new Scalar( rng.nextInt(256),
                    rng.nextInt(256), rng.nextInt(256) );
 
            Core.copyMakeBorder( src, dst, top, bottom, left, right, borderType, value);
            HighGui.imshow( window_name, dst );
 
 char c = (char) HighGui.waitKey(500);
            c = Character.toLowerCase(c);
 
 if( c == 27 )
            { break; }
 else if( c == 'c' )
            { borderType = Core.BORDER_CONSTANT;}
 else if( c == 'r' )
            { borderType = Core.BORDER_REPLICATE;}
        }
 
        System.exit(0);
    }
}
 
public class CopyMakeBorder {
 public static void main(String[] args) {
 // Load the native library.
        System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
 new CopyMakeBorderRun().run(args);
    }
}

Python

ここ からダウンロードすることもできる

"""
@file copy_make_border.py
@brief Sample code that shows the functionality of copyMakeBorder
"""
import sys
from random import randint
import cv2 as cv
 
 
def main(argv):
 
    borderType = cv.BORDER_CONSTANT
    window_name = "copyMakeBorder Demo"
 
    imageName = argv[0] if len(argv) > 0 else 'lena.jpg'
 
 # Loads an image
    src = cv.imread(cv.samples.findFile(imageName), cv.IMREAD_COLOR)
 
 # Check if image is loaded fine
 if src is None:
 print ('Error opening image!')
 print ('Usage: copy_make_border.py [image_name -- default lena.jpg] \n')
 return -1
 
 print ('\n'
 '\t   copyMakeBorder Demo: \n'
 '     -------------------- \n'
 ' ** Press \'c\' to set the border to a random constant value \n'
 ' ** Press \'r\' to set the border to be replicated \n'
 ' ** Press \'ESC\' to exit the program ')
 
 cv.namedWindow(window_name, cv.WINDOW_AUTOSIZE)
 
    top = int(0.05 * src.shape[0])  # shape[0] = rows
    bottom = top
    left = int(0.05 * src.shape[1])  # shape[1] = cols
    right = left
 
 while 1:
 
        value = [randint(0, 255), randint(0, 255), randint(0, 255)]
 
        dst = cv.copyMakeBorder(src, top, bottom, left, right, borderType, None, value)
 
 cv.imshow(window_name, dst)
 
        c = cv.waitKey(500)
 
 if c == 27:
 break
 elif c == 99: # 99 = ord('c')
            borderType = cv.BORDER_CONSTANT
 elif c == 114: # 114 = ord('r')
            borderType = cv.BORDER_REPLICATE
 
 return 0
 
 
if __name__ == "__main__":
 main(sys.argv[1:])

解説

変数の宣言

まず、使用する変数を宣言する。

C++

// Declare the variables
Mat src, dst;
int top, bottom, left, right;
int borderType = BORDER_CONSTANT;
const char* window_name = "copyMakeBorder Demo";
RNG rng(12345);

Java

 // Declare the variables
        Mat src, dst = new Mat();
 int top, bottom, left, right;
 int borderType = Core.BORDER_CONSTANT;
 String window_name = "copyMakeBorder Demo";
        Random rng;

Python

    borderType = cv.BORDER_CONSTANT
    window_name = "copyMakeBorder Demo"

特に注意すべきは変数 rng で、これは乱数生成器である。後で見るように、ランダムな境界色を生成するために使用する。

画像の読み込み

いつものように元画像 src を読み込む。

C++

 const char* imageName = argc >=2 ? argv[1] : "lena.jpg";
 
 // Loads an image
    src = imread( samples::findFile( imageName ), IMREAD_COLOR ); // Load an image
 
 // Check if image is loaded fine
 if( src.empty()) {
        printf(" Error opening image\n");
        printf(" Program Arguments: [image_name -- default lena.jpg] \n");
 return -1;
    }

Java

 String imageName = ((args.length > 0) ? args[0] : "../data/lena.jpg");
 
 // Load an image
        src = Imgcodecs.imread(imageName, Imgcodecs.IMREAD_COLOR);
 
 // Check if image is loaded fine
 if( src.empty() ) {
            System.out.println("Error opening image!");
            System.out.println("Program Arguments: [image_name -- default ../data/lena.jpg] \n");
            System.exit(-1);
        }

Python

    imageName = argv[0] if len(argv) > 0 else 'lena.jpg'
 
 # Loads an image
    src = cv.imread(cv.samples.findFile(imageName), cv.IMREAD_COLOR)
 
 # Check if image is loaded fine
 if src is None:
 print ('Error opening image!')
 print ('Usage: copy_make_border.py [image_name -- default lena.jpg] \n')
 return -1

ウィンドウの作成

プログラムの使い方を簡単に説明した後、ウィンドウを作成する。

C++

 namedWindow( window_name, WINDOW_AUTOSIZE );

Java

        HighGui.namedWindow( window_name, HighGui.WINDOW_AUTOSIZE );

Python

 cv.namedWindow(window_name, cv.WINDOW_AUTOSIZE)

引数の初期化

次に、境界のサイズを定義する引数（top、bottom、left、right）を初期化する。これらに src のサイズの5%の値を与える。

C++

 // Initialize arguments for the filter
    top = (int) (0.05*src.rows); bottom = top;
    left = (int) (0.05*src.cols); right = left;

Java

 // Initialize arguments for the filter
        top = (int) (0.05*src.rows()); bottom = top;
        left = (int) (0.05*src.cols()); right = left;

Python

    top = int(0.05 * src.shape[0])  # shape[0] = rows
    bottom = top
    left = int(0.05 * src.shape[1])  # shape[1] = cols
    right = left

ループ

プログラムは ESC キーが押されない限り無限ループで実行される。ユーザーが 'c' または 'r' を押すと、borderType 変数はそれぞれ BORDER_CONSTANT または BORDER_REPLICATE の値をとる。

C++

 char c = (char)waitKey(500);
 if( c == 27 )
        { break; }
 else if( c == 'c' )
        { borderType = BORDER_CONSTANT; }
 else if( c == 'r' )
        { borderType = BORDER_REPLICATE; }

Java

 char c = (char) HighGui.waitKey(500);
            c = Character.toLowerCase(c);
 
 if( c == 27 )
            { break; }
 else if( c == 'c' )
            { borderType = Core.BORDER_CONSTANT;}
 else if( c == 'r' )
            { borderType = Core.BORDER_REPLICATE;}

Python

        c = cv.waitKey(500)
 
 if c == 27:
 break
 elif c == 99: # 99 = ord('c')
            borderType = cv.BORDER_CONSTANT
 elif c == 114: # 114 = ord('r')
            borderType = cv.BORDER_REPLICATE

ランダムな色

各反復ごと（0.5秒後）に、ランダムな境界色（value）が更新される...

C++

 Scalar value( rng.uniform(0, 255), rng.uniform(0, 255), rng.uniform(0, 255) );

Java

            rng = new Random();
 Scalar value = new Scalar( rng.nextInt(256),
                    rng.nextInt(256), rng.nextInt(256) );

Python

        value = [randint(0, 255), randint(0, 255), randint(0, 255)]

この値は \([0,255]\) の範囲でランダムに選ばれた3つの数値の組である。

画像の周囲に境界を作る

最後に、関数 copyMakeBorder() を呼び出してそれぞれのパディングを適用する。

C++

 copyMakeBorder( src, dst, top, bottom, left, right, borderType, value );

Java

            Core.copyMakeBorder( src, dst, top, bottom, left, right, borderType, value);

Python

        dst = cv.copyMakeBorder(src, top, bottom, left, right, borderType, None, value)

• The arguments are:
  1. src: 入力画像
  2. dst: 出力画像
  3. top、bottom、left、right: 画像の各辺の境界の長さ（ピクセル単位）。これらを元画像のサイズの5%として定義する。
  4. borderType: 適用する境界の種類を定義する。この例では一定値または複製にできる。
  5. value: borderType が BORDER_CONSTANT の場合、これは境界ピクセルを埋めるために使われる値である。

結果の表示

先ほど作成したウィンドウに出力画像を表示する

C++

 imshow( window_name, dst );

Java

            HighGui.imshow( window_name, dst );

Python

 cv.imshow(window_name, dst)

結果

1. 上記のコードをコンパイルした後、画像のパスを引数として与えて実行できる。結果は次のようになるはずである:

   • デフォルトでは、境界を BORDER_CONSTANT に設定した状態で始まる。したがって、ランダムな色の境界が次々と表示される。
   • 'r' を押すと、境界はエッジのピクセルの複製になる。
   • 'c' を押すと、ランダムな色の境界が再び表示される
   • 'ESC' を押すと、プログラムは終了する。

   以下に、境界の色がどのように変化するか、また BORDER_REPLICATE オプションがどのように見えるかを示すスクリーンショットを示す: