リマッピング

目次

• 目標
• Theory
  • リマッピングとは何か?
• コード
• 解説
• 結果

前のチュートリアル: 一般化BallardおよびGuilハフ変換による物体検出
次のチュートリアル: アフィン変換

原著者	Ana Huamán
互換性	OpenCV >= 3.0

目標

このチュートリアルでは、以下の方法を学ぶ:

a. OpenCVの関数 cv::remap を使い、単純なリマッピング処理を実装する。

理論

リマッピングとは何か?

• リマッピングとは、画像のある位置からピクセルを取り出し、新しい画像上の別の位置に配置する処理である。
• マッピング処理を行うには、ソース画像とデスティネーション画像の間で常に1対1のピクセル対応があるとは限らないため、非整数のピクセル位置に対して補間を行う必要が生じる場合がある。

• すべてのピクセル位置 \((x,y)\) に対するリマッピングは、次のように表せる。

  \[g(x,y) = f ( h(x,y) )\]

  ここで \(g()\) はリマップ後の画像、\(f()\) はソース画像、\(h(x,y)\) は \((x,y)\) に作用するマッピング関数である。

• 簡単な例で考えてみよう。画像 \(I\) があり、次のようなリマッピングを行いたいとする。

  \[h(x,y) = (I.cols - x, y )\]

  何が起こるだろうか? 画像が \(x\) 方向に反転することが容易に分かる。例として、次の入力画像を考える。

赤い円が \(x\) に対してどのように位置を変えるかに注目してほしい(\(x\) を水平方向とする)。

• OpenCVでは、関数 cv::remap が単純なリマッピングの実装を提供する。

コード

• What does this program do?
  • 画像を読み込む
  • 1秒ごとに4種類のリマッピング処理のうち1つを画像に適用し、それをウィンドウに無限に表示する。
  • ユーザーがプログラムを終了するのを待つ

C++

• チュートリアルのコードを以下に示す。こちら からダウンロードすることもできる。

   
  #include "opencv2/imgcodecs.hpp"
  #include "opencv2/highgui.hpp"
  #include "opencv2/imgproc.hpp"
  #include <iostream>
   
  using namespace cv;
   
  void update_map( int &ind, Mat &map_x, Mat &map_y );
   
  int main(int argc, const char** argv)
  {
   CommandLineParser parser(argc, argv, "{@image |chicky_512.png|input image name}");
   std::string filename = parser.get<std::string>(0);
   Mat src = imread( samples::findFile( filename ), IMREAD_COLOR );
   if (src.empty())
   {
   std::cout << "Cannot read image: " << filename << std::endl;
   return -1;
   }
   
   Mat dst(src.size(), src.type());
   Mat map_x(src.size(), CV_32FC1);
   Mat map_y(src.size(), CV_32FC1);
   
   const char* remap_window = "Remap demo";
   namedWindow( remap_window, WINDOW_AUTOSIZE );
   
   int ind = 0;
   for(;;)
   {
   update_map(ind, map_x, map_y);
   remap( src, dst, map_x, map_y, INTER_LINEAR, BORDER_CONSTANT, Scalar(0, 0, 0) );
   
   imshow( remap_window, dst );
   
   char c = (char)waitKey( 1000 );
   if( c == 27 )
   {
   break;
   }
   }
   return 0;
  }
   
  void update_map( int &ind, Mat &map_x, Mat &map_y )
  {
   for( int i = 0; i < map_x.rows; i++ )
   {
   for( int j = 0; j < map_x.cols; j++ )
   {
   switch( ind )
   {
   case 0:
   if( j > map_x.cols*0.25 && j < map_x.cols*0.75 && i > map_x.rows*0.25 && i < map_x.rows*0.75 )
   {
   map_x.at<float>(i, j) = 2*( j - map_x.cols*0.25f ) + 0.5f;
   map_y.at<float>(i, j) = 2*( i - map_x.rows*0.25f ) + 0.5f;
   }
   else
   {
   map_x.at<float>(i, j) = 0;
   map_y.at<float>(i, j) = 0;
   }
   break;
   case 1:
   map_x.at<float>(i, j) = (float)j;
   map_y.at<float>(i, j) = (float)(map_x.rows - i);
   break;
   case 2:
   map_x.at<float>(i, j) = (float)(map_x.cols - j);
   map_y.at<float>(i, j) = (float)i;
   break;
   case 3:
   map_x.at<float>(i, j) = (float)(map_x.cols - j);
   map_y.at<float>(i, j) = (float)(map_x.rows - i);
   break;
   default:
   break;
   } // end of switch
   }
   }
   ind = (ind+1) % 4;
  }

Java

• チュートリアルのコードを以下に示す。こちら からダウンロードすることもできる。

  import org.opencv.core.Core;
  import org.opencv.core.CvType;
  import org.opencv.core.Mat;
  import org.opencv.highgui.HighGui;
  import org.opencv.imgcodecs.Imgcodecs;
  import org.opencv.imgproc.Imgproc;
   
  class Remap {
   private Mat mapX = new Mat();
   private Mat mapY = new Mat();
   private Mat dst = new Mat();
   private int ind = 0;
   
   private void updateMap() {
   float buffX[] = new float[(int) (mapX.total() * mapX.channels())];
   mapX.get(0, 0, buffX);
   
   float buffY[] = new float[(int) (mapY.total() * mapY.channels())];
   mapY.get(0, 0, buffY);
   
   for (int i = 0; i < mapX.rows(); i++) {
   for (int j = 0; j < mapX.cols(); j++) {
   switch (ind) {
   case 0:
   if( j > mapX.cols()*0.25 && j < mapX.cols()*0.75 && i > mapX.rows()*0.25 && i < mapX.rows()*0.75 ) {
   buffX[i*mapX.cols() + j] = 2*( j - mapX.cols()*0.25f ) + 0.5f;
   buffY[i*mapY.cols() + j] = 2*( i - mapX.rows()*0.25f ) + 0.5f;
   } else {
   buffX[i*mapX.cols() + j] = 0;
   buffY[i*mapY.cols() + j] = 0;
   }
   break;
   case 1:
   buffX[i*mapX.cols() + j] = j;
   buffY[i*mapY.cols() + j] = mapY.rows() - i;
   break;
   case 2:
   buffX[i*mapX.cols() + j] = mapY.cols() - j;
   buffY[i*mapY.cols() + j] = i;
   break;
   case 3:
   buffX[i*mapX.cols() + j] = mapY.cols() - j;
   buffY[i*mapY.cols() + j] = mapY.rows() - i;
   break;
   default:
   break;
   }
   }
   }
   mapX.put(0, 0, buffX);
   mapY.put(0, 0, buffY);
   ind = (ind+1) % 4;
   }
   
   public void run(String[] args) {
   String filename = args.length > 0 ? args[0] : "../data/chicky_512.png";
   Mat src = Imgcodecs.imread(filename, Imgcodecs.IMREAD_COLOR);
   if (src.empty()) {
   System.err.println("Cannot read image: " + filename);
   System.exit(0);
   }
   
   mapX = new Mat(src.size(), CvType.CV_32F);
   mapY = new Mat(src.size(), CvType.CV_32F);
   
   final String winname = "Remap demo";
   HighGui.namedWindow(winname, HighGui.WINDOW_AUTOSIZE);
   
   for (;;) {
   updateMap();
   Imgproc.remap(src, dst, mapX, mapY, Imgproc.INTER_LINEAR);
   HighGui.imshow(winname, dst);
   if (HighGui.waitKey(1000) == 27) {
   break;
   }
   }
   System.exit(0);
   }
  }
   
  public class RemapDemo {
   public static void main(String[] args) {
   // Load the native OpenCV library
   System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
   
   new Remap().run(args);
   }
  }

Python

• チュートリアルのコードを以下に示す。こちら からダウンロードすることもできる。

  from __future__ import print_function
  import cv2 as cv
  import numpy as np
  import argparse
   
   
  def update_map(ind, map_x, map_y):
   if ind == 0:
   for i in range(map_x.shape[0]):
   for j in range(map_x.shape[1]):
   if j > map_x.shape[1]*0.25 and j < map_x.shape[1]*0.75 and i > map_x.shape[0]*0.25 and i < map_x.shape[0]*0.75:
   map_x[i,j] = 2 * (j-map_x.shape[1]*0.25) + 0.5
   map_y[i,j] = 2 * (i-map_y.shape[0]*0.25) + 0.5
   else:
   map_x[i,j] = 0
   map_y[i,j] = 0
   elif ind == 1:
   for i in range(map_x.shape[0]):
   map_x[i,:] = [x for x in range(map_x.shape[1])]
   for j in range(map_y.shape[1]):
   map_y[:,j] = [map_y.shape[0]-y for y in range(map_y.shape[0])]
   elif ind == 2:
   for i in range(map_x.shape[0]):
   map_x[i,:] = [map_x.shape[1]-x for x in range(map_x.shape[1])]
   for j in range(map_y.shape[1]):
   map_y[:,j] = [y for y in range(map_y.shape[0])]
   elif ind == 3:
   for i in range(map_x.shape[0]):
   map_x[i,:] = [map_x.shape[1]-x for x in range(map_x.shape[1])]
   for j in range(map_y.shape[1]):
   map_y[:,j] = [map_y.shape[0]-y for y in range(map_y.shape[0])]
   
   
  parser = argparse.ArgumentParser(description='Code for Remapping tutorial.')
  parser.add_argument('--input', help='Path to input image.', default='chicky_512.png')
  args = parser.parse_args()
   
   
  src = cv.imread(cv.samples.findFile(args.input), cv.IMREAD_COLOR)
  if src is None:
   print('Could not open or find the image: ', args.input)
   exit(0)
   
   
   
  map_x = np.zeros((src.shape[0], src.shape[1]), dtype=np.float32)
  map_y = np.zeros((src.shape[0], src.shape[1]), dtype=np.float32)
   
   
   
  window_name = 'Remap demo'
  cv.namedWindow(window_name)
   
   
   
  ind = 0
  while True:
   update_map(ind, map_x, map_y)
   ind = (ind + 1) % 4
   dst = cv.remap(src, map_x, map_y, cv.INTER_LINEAR)
   cv.imshow(window_name, dst)
   c = cv.waitKey(1000)
   if c == 27:
   break
   

解説

• 画像を読み込む。

  C++

   Mat src = imread( samples::findFile( filename ), IMREAD_COLOR );
   if (src.empty())
      {
          std::cout << "Cannot read image: " << filename << std::endl;
   return -1;
      }

  Java

          Mat src = Imgcodecs.imread(filename, Imgcodecs.IMREAD_COLOR);
   if (src.empty()) {
              System.err.println("Cannot read image: " + filename);
              System.exit(0);
          }

  Python

  src = cv.imread(cv.samples.findFile(args.input), cv.IMREAD_COLOR)
  if src is None:
      print('Could not open or find the image: ', args.input)
      exit(0)

• デスティネーション画像と2つのマッピング行列(x用とy用)を作成する

  C++

   Mat dst(src.size(), src.type());
   Mat map_x(src.size(), CV_32FC1);
   Mat map_y(src.size(), CV_32FC1);

  Java

          mapX = new Mat(src.size(), CvType.CV_32F);
          mapY = new Mat(src.size(), CvType.CV_32F);

  Python

  map_x = np.zeros((src.shape[0], src.shape[1]), dtype=np.float32)
  map_y = np.zeros((src.shape[0], src.shape[1]), dtype=np.float32)

• 結果を表示するウィンドウを作成する

  C++

   const char* remap_window = "Remap demo";
   namedWindow( remap_window, WINDOW_AUTOSIZE );

  Java

   final String winname = "Remap demo";
          HighGui.namedWindow(winname, HighGui.WINDOW_AUTOSIZE);

  Python

  window_name = 'Remap demo'
  cv.namedWindow(window_name)

• ループを設定する。1000msごとにマッピング行列(mat_x と mat_y)を更新し、それらをソース画像に適用する。

  C++

   int ind = 0;
   for(;;)
      {
          update_map(ind, map_x, map_y);
   remap( src, dst, map_x, map_y, INTER_LINEAR, BORDER_CONSTANT, Scalar(0, 0, 0) );
   
   imshow( remap_window, dst );
   
   char c = (char)waitKey( 1000 );
   if( c == 27 )
          {
   break;
          }
      }

  Java

   for (;;) {
              updateMap();
              Imgproc.remap(src, dst, mapX, mapY, Imgproc.INTER_LINEAR);
              HighGui.imshow(winname, dst);
   if (HighGui.waitKey(1000) == 27) {
   break;
              }
          }

  Python

  ind = 0
  while True:
      update_map(ind, map_x, map_y)
      ind = (ind + 1) % 4
      dst = cv.remap(src, map_x, map_y, cv.INTER_LINEAR)
   cv.imshow(window_name, dst)
      c = cv.waitKey(1000)
   if c == 27:
   break

• リマッピングを適用する関数は cv::remap である。次の引数を与える。

  • src: ソース画像
  • dst: src と同じサイズのデスティネーション画像
  • map_x: x方向のマッピング関数。\(h(i,j)\) の第1成分に相当する
  • map_y: 上と同じだが、y方向のもの。map_y と map_x はどちらも src と同じサイズである点に注意
  • INTER_LINEAR: 非整数ピクセルに使用する補間の種類。これがデフォルトである。
  • BORDER_CONSTANT: デフォルト

  マッピング行列 mat_x と mat_y はどのように更新するのか? 読み進めてほしい。

• Updating the mapping matrices: We are going to perform 4 different mappings:
  1. Reduce the picture to half its size and will display it in the middle:

     \[h(i,j) = ( 2 \times i - src.cols/2 + 0.5, 2 \times j - src.rows/2 + 0.5)\]

     for all pairs \((i,j)\) such that: \(\dfrac{src.cols}{4}<i<\dfrac{3 \cdot src.cols}{4}\) and \(\dfrac{src.rows}{4}<j<\dfrac{3 \cdot src.rows}{4}\)
  2. 画像を上下逆さまにする: \(h( i, j ) = (i, src.rows - j)\)
  3. 画像を左右反転する: \(h(i,j) = ( src.cols - i, j )\)
  4. bとcの組み合わせ: \(h(i,j) = ( src.cols - i, src.rows - j )\)

これは次のスニペットで表される。ここで map_x は h(i,j) の第1座標を、map_y は第2座標を表す。

C++

void update_map( int &ind, Mat &map_x, Mat &map_y )
{
 for( int i = 0; i < map_x.rows; i++ )
    {
 for( int j = 0; j < map_x.cols; j++ )
        {
 switch( ind )
            {
 case 0:
 if( j > map_x.cols*0.25 && j < map_x.cols*0.75 && i > map_x.rows*0.25 && i < map_x.rows*0.75 )
                {
                    map_x.at<float>(i, j) = 2*( j - map_x.cols*0.25f ) + 0.5f;
                    map_y.at<float>(i, j) = 2*( i - map_x.rows*0.25f ) + 0.5f;
                }
 else
                {
                    map_x.at<float>(i, j) = 0;
                    map_y.at<float>(i, j) = 0;
                }
 break;
 case 1:
                map_x.at<float>(i, j) = (float)j;
                map_y.at<float>(i, j) = (float)(map_x.rows - i);
 break;
 case 2:
                map_x.at<float>(i, j) = (float)(map_x.cols - j);
                map_y.at<float>(i, j) = (float)i;
 break;
 case 3:
                map_x.at<float>(i, j) = (float)(map_x.cols - j);
                map_y.at<float>(i, j) = (float)(map_x.rows - i);
 break;
 default:
 break;
            } // end of switch
        }
    }
    ind = (ind+1) % 4;
}

Java

 private void updateMap() {
 float buffX[] = new float[(int) (mapX.total() * mapX.channels())];
        mapX.get(0, 0, buffX);
 
 float buffY[] = new float[(int) (mapY.total() * mapY.channels())];
        mapY.get(0, 0, buffY);
 
 for (int i = 0; i < mapX.rows(); i++) {
 for (int j = 0; j < mapX.cols(); j++) {
 switch (ind) {
 case 0:
 if( j > mapX.cols()*0.25 && j < mapX.cols()*0.75 && i > mapX.rows()*0.25 && i < mapX.rows()*0.75 ) {
                        buffX[i*mapX.cols() + j] = 2*( j - mapX.cols()*0.25f ) + 0.5f;
                        buffY[i*mapY.cols() + j] = 2*( i - mapX.rows()*0.25f ) + 0.5f;
                    } else {
                        buffX[i*mapX.cols() + j] = 0;
                        buffY[i*mapY.cols() + j] = 0;
                    }
 break;
 case 1:
                    buffX[i*mapX.cols() + j] = j;
                    buffY[i*mapY.cols() + j] = mapY.rows() - i;
 break;
 case 2:
                    buffX[i*mapX.cols() + j] = mapY.cols() - j;
                    buffY[i*mapY.cols() + j] = i;
 break;
 case 3:
                    buffX[i*mapX.cols() + j] = mapY.cols() - j;
                    buffY[i*mapY.cols() + j] = mapY.rows() - i;
 break;
 default:
 break;
                }
            }
        }
        mapX.put(0, 0, buffX);
        mapY.put(0, 0, buffY);
        ind = (ind+1) % 4;
    }

Python

def update_map(ind, map_x, map_y):
 if ind == 0:
 for i in range(map_x.shape[0]):
 for j in range(map_x.shape[1]):
 if j > map_x.shape[1]*0.25 and j < map_x.shape[1]*0.75 and i > map_x.shape[0]*0.25 and i < map_x.shape[0]*0.75:
                    map_x[i,j] = 2 * (j-map_x.shape[1]*0.25) + 0.5
                    map_y[i,j] = 2 * (i-map_y.shape[0]*0.25) + 0.5
 else:
                    map_x[i,j] = 0
                    map_y[i,j] = 0
 elif ind == 1:
 for i in range(map_x.shape[0]):
            map_x[i,:] = [x for x in range(map_x.shape[1])]
 for j in range(map_y.shape[1]):
            map_y[:,j] = [map_y.shape[0]-y for y in range(map_y.shape[0])]
 elif ind == 2:
 for i in range(map_x.shape[0]):
            map_x[i,:] = [map_x.shape[1]-x for x in range(map_x.shape[1])]
 for j in range(map_y.shape[1]):
            map_y[:,j] = [y for y in range(map_y.shape[0])]
 elif ind == 3:
 for i in range(map_x.shape[0]):
            map_x[i,:] = [map_x.shape[1]-x for x in range(map_x.shape[1])]
 for j in range(map_y.shape[1]):
            map_y[:,j] = [map_y.shape[0]-y for y in range(map_y.shape[0])]

結果

1. 上記のコードをコンパイルした後、画像パスを引数として与えて実行できる。例として、次の画像を使用する。

1. これは画像を半分のサイズに縮小して中央に配置した結果である。

1. 上下逆さまにした結果:

1. x方向に反転した結果:

1. 両方向に反転した結果: