アフィン変換

目次

• 目標
• Theory
  • アフィン変換とは何か?
  • アフィン変換はどのように求めるか?
• コード
• 解説
• 結果

前のチュートリアル: リマッピング
次のチュートリアル: ヒストグラム均等化

原著者	Ana Huamán
互換性	OpenCV >= 3.0

目標

このチュートリアルでは、以下の方法を学ぶ:

• OpenCVの関数 cv::warpAffine を使って、単純なリマッピング処理を実装する。
• OpenCVの関数 cv::getRotationMatrix2D を使って \(2 \times 3\) の回転行列を取得する

理論

アフィン変換とは何か?

1. 行列の乗算(線形変換)に続いて ベクトルの加算(平行移動)という形で表現できる変換。

2. 上記から、アフィン変換は次のものを表現するために使用できる:

   1. 回転(線形変換)
   2. 平行移動(ベクトルの加算)
   3. 拡大縮小操作(線形変換)

   本質的に、アフィン変換は2つの画像間の 関係 を表すことがわかる。

3. アフィン変換を表現する一般的な方法は、\(2 \times 3\) 行列を使用することである。

   \[ A = \begin{bmatrix} a_{00} & a_{01} \\ a_{10} & a_{11} \end{bmatrix}_{2 \times 2} B = \begin{bmatrix} b_{00} \\ b_{10} \end{bmatrix}_{2 \times 1} \]

   \[ M = \begin{bmatrix} A & B \end{bmatrix} = \begin{bmatrix} a_{00} & a_{01} & b_{00} \\ a_{10} & a_{11} & b_{10} \end{bmatrix}_{2 \times 3} \]

   \(A\) と \(B\) を用いて2Dベクトル \(X = \begin{bmatrix}x \\ y\end{bmatrix}\) を変換したい場合を考えると、次のようにして同じことができる:

   \(T = A \cdot \begin{bmatrix}x \\ y\end{bmatrix} + B\) または \(T = M \cdot [x, y, 1]^{T}\)

   \[T = \begin{bmatrix} a_{00}x + a_{01}y + b_{00} \\ a_{10}x + a_{11}y + b_{10} \end{bmatrix}\]

アフィン変換はどのように求めるか?

1. We mentioned that an Affine Transformation is basically a relation between two images. The information about this relation can come, roughly, in two ways:
   1. \(X\) と \(T\) の両方がわかっており、それらが関係していることもわかっている。したがって、我々の課題は \(M\) を求めることである。
   2. \(M\) と \(X\) がわかっている。\(T\) を得るには \(T = M \cdot X\) を適用するだけでよい。\(M\) に関する情報は明示的(すなわち2×3行列を持っている)である場合もあれば、点同士の幾何学的な関係として与えられる場合もある。
2. これをよりわかりやすく説明しよう(b)。\(M\) は2つの画像を関係づけるので、両方の画像において3つの点を関係づける最も単純なケースを分析できる。下の図を見てほしい:

点1、2、3(画像1で三角形を形成している)は画像2に写像され、依然として三角形を形成しているが、今や著しく変化している。これら3つの点(好きなように選んでよい)でアフィン変換を求めれば、見つかったこの関係を画像内のすべてのピクセルに適用できる。

コード

• What does this program do?
  • 画像を読み込む
  • 画像にアフィン変換を適用する。この変換は3点の関係から得られる。その目的のために関数 cv::warpAffine を使用する。
  • 変換された画像に回転を適用する。この回転は画像の中心を基準とする。
  • ユーザーがプログラムを終了するまで待機する。

C++

• チュートリアルのコードを以下に示す。こちらからダウンロードすることもできる

   
  #include "opencv2/imgcodecs.hpp"
  #include "opencv2/highgui.hpp"
  #include "opencv2/geometry.hpp"
  #include "opencv2/imgproc.hpp"
  #include <iostream>
   
  using namespace cv;
  using namespace std;
   
  int main( int argc, char** argv )
  {
   CommandLineParser parser( argc, argv, "{@input | lena.jpg | input image}" );
   Mat src = imread( samples::findFile( parser.get<String>( "@input" ) ) );
   if( src.empty() )
   {
   cout << "Could not open or find the image!\n" << endl;
   cout << "Usage: " << argv[0] << " <Input image>" << endl;
   return -1;
   }
   
   Point2f srcTri[3];
   srcTri[0] = Point2f( 0.f, 0.f );
   srcTri[1] = Point2f( src.cols - 1.f, 0.f );
   srcTri[2] = Point2f( 0.f, src.rows - 1.f );
   
   Point2f dstTri[3];
   dstTri[0] = Point2f( 0.f, src.rows*0.33f );
   dstTri[1] = Point2f( src.cols*0.85f, src.rows*0.25f );
   dstTri[2] = Point2f( src.cols*0.15f, src.rows*0.7f );
   
   Mat warp_mat = getAffineTransform( srcTri, dstTri );
   
   Mat warp_dst = Mat::zeros( src.rows, src.cols, src.type() );
   
   warpAffine( src, warp_dst, warp_mat, warp_dst.size() );
   
   Point center = Point( warp_dst.cols/2, warp_dst.rows/2 );
   double angle = -50.0;
   double scale = 0.6;
   
   Mat rot_mat = getRotationMatrix2D( center, angle, scale );
   
   Mat warp_rotate_dst;
   warpAffine( warp_dst, warp_rotate_dst, rot_mat, warp_dst.size() );
   
   imshow( "Source image", src );
   imshow( "Warp", warp_dst );
   imshow( "Warp + Rotate", warp_rotate_dst );
   
   waitKey();
   
   return 0;
  }

Java

• チュートリアルのコードを以下に示す。ここからダウンロードすることもできる。

  import org.opencv.core.Core;
  import org.opencv.core.Mat;
  import org.opencv.core.MatOfPoint2f;
  import org.opencv.core.Point;
  import org.opencv.highgui.HighGui;
  import org.opencv.imgcodecs.Imgcodecs;
  import org.opencv.imgproc.Imgproc;
   
  class GeometricTransforms {
   public void run(String[] args) {
   String filename = args.length > 0 ? args[0] : "../data/lena.jpg";
   Mat src = Imgcodecs.imread(filename);
   if (src.empty()) {
   System.err.println("Cannot read image: " + filename);
   System.exit(0);
   }
   
   Point[] srcTri = new Point[3];
   srcTri[0] = new Point( 0, 0 );
   srcTri[1] = new Point( src.cols() - 1, 0 );
   srcTri[2] = new Point( 0, src.rows() - 1 );
   
   Point[] dstTri = new Point[3];
   dstTri[0] = new Point( 0, src.rows()*0.33 );
   dstTri[1] = new Point( src.cols()*0.85, src.rows()*0.25 );
   dstTri[2] = new Point( src.cols()*0.15, src.rows()*0.7 );
   
   Mat warpMat = Imgproc.getAffineTransform( new MatOfPoint2f(srcTri), new MatOfPoint2f(dstTri) );
   
   Mat warpDst = Mat.zeros( src.rows(), src.cols(), src.type() );
   
   Imgproc.warpAffine( src, warpDst, warpMat, warpDst.size() );
   
   Point center = new Point(warpDst.cols() / 2, warpDst.rows() / 2);
   double angle = -50.0;
   double scale = 0.6;
   
   Mat rotMat = Imgproc.getRotationMatrix2D( center, angle, scale );
   
   Mat warpRotateDst = new Mat();
   Imgproc.warpAffine( warpDst, warpRotateDst, rotMat, warpDst.size() );
   
   HighGui.imshow( "Source image", src );
   HighGui.imshow( "Warp", warpDst );
   HighGui.imshow( "Warp + Rotate", warpRotateDst );
   
   HighGui.waitKey(0);
   
   System.exit(0);
   }
  }
   
  public class GeometricTransformsDemo {
   public static void main(String[] args) {
   // ネイティブのOpenCVライブラリを読み込む
   System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
   
   new GeometricTransforms().run(args);
   }
  }

Python

• チュートリアルのコードを以下に示す。ここからダウンロードすることもできる。

  from __future__ import print_function
  import cv2 as cv
  import numpy as np
  import argparse
   
   
  parser = argparse.ArgumentParser(description='Code for Affine Transformations tutorial.')
  parser.add_argument('--input', help='Path to input image.', default='lena.jpg')
  args = parser.parse_args()
   
  src = cv.imread(cv.samples.findFile(args.input))
  if src is None:
   print('Could not open or find the image:', args.input)
   exit(0)
   
   
   
  srcTri = np.array( [[0, 0], [src.shape[1] - 1, 0], [0, src.shape[0] - 1]] ).astype(np.float32)
  dstTri = np.array( [[0, src.shape[1]*0.33], [src.shape[1]*0.85, src.shape[0]*0.25], [src.shape[1]*0.15, src.shape[0]*0.7]] ).astype(np.float32)
   
   
   
  warp_mat = cv.getAffineTransform(srcTri, dstTri)
   
   
   
  warp_dst = cv.warpAffine(src, warp_mat, (src.shape[1], src.shape[0]))
   
   
  # ワープ後に画像を回転させる
   
   
  center = (warp_dst.shape[1]//2, warp_dst.shape[0]//2)
  angle = -50
  scale = 0.6
   
   
   
  rot_mat = cv.getRotationMatrix2D( center, angle, scale )
   
   
   
  warp_rotate_dst = cv.warpAffine(warp_dst, rot_mat, (warp_dst.shape[1], warp_dst.shape[0]))
   
   
   
  cv.imshow('Source image', src)
  cv.imshow('Warp', warp_dst)
  cv.imshow('Warp + Rotate', warp_rotate_dst)
   
   
   
  cv.waitKey()
   

解説

• 画像を読み込む。

  C++

   CommandLineParser parser( argc, argv, "{@input | lena.jpg | input image}" );
   Mat src = imread( samples::findFile( parser.get<String>( "@input" ) ) );
   if( src.empty() )
      {
          cout << "Could not open or find the image!\n" << endl;
          cout << "Usage: " << argv[0] << " <Input image>" << endl;
   return -1;
      }

  Java

   String filename = args.length > 0 ? args[0] : "../data/lena.jpg";
          Mat src = Imgcodecs.imread(filename);
   if (src.empty()) {
              System.err.println("Cannot read image: " + filename);
              System.exit(0);
          }

  Python

  parser = argparse.ArgumentParser(description='Code for Affine Transformations tutorial.')
  parser.add_argument('--input', help='Path to input image.', default='lena.jpg')
  args = parser.parse_args()
   
  src = cv.imread(cv.samples.findFile(args.input))
  if src is None:
      print('Could not open or find the image:', args.input)
      exit(0)

• アフィン変換: 上の行で説明したとおり、アフィン変換の関係式を導くには3点からなる2組の点が必要である。次を見てほしい:

  C++

   Point2f srcTri[3];
      srcTri[0] = Point2f( 0.f, 0.f );
      srcTri[1] = Point2f( src.cols - 1.f, 0.f );
      srcTri[2] = Point2f( 0.f, src.rows - 1.f );
   
   Point2f dstTri[3];
      dstTri[0] = Point2f( 0.f, src.rows*0.33f );
      dstTri[1] = Point2f( src.cols*0.85f, src.rows*0.25f );
      dstTri[2] = Point2f( src.cols*0.15f, src.rows*0.7f );

  Java

   Point[] srcTri = new Point[3];
          srcTri[0] = new Point( 0, 0 );
          srcTri[1] = new Point( src.cols() - 1, 0 );
          srcTri[2] = new Point( 0, src.rows() - 1 );
   
   Point[] dstTri = new Point[3];
          dstTri[0] = new Point( 0, src.rows()*0.33 );
          dstTri[1] = new Point( src.cols()*0.85, src.rows()*0.25 );
          dstTri[2] = new Point( src.cols()*0.15, src.rows()*0.7 );

  Python

  srcTri = np.array( [[0, 0], [src.shape[1] - 1, 0], [0, src.shape[0] - 1]] ).astype(np.float32)
  dstTri = np.array( [[0, src.shape[1]*0.33], [src.shape[1]*0.85, src.shape[0]*0.25], [src.shape[1]*0.15, src.shape[0]*0.7]] ).astype(np.float32)

  これらの点を描画してみると、点がどのように変化するかをより理解しやすくなる。それらの位置は、（理論セクションの）例示図に描かれているものとおおよそ同じである。3点で定義される三角形のサイズと向きが変化することに気づくだろう。

• 両方の点の組がそろったので、OpenCVの関数 cv::getAffineTransform を使ってアフィン変換を計算する：

  C++

   Mat warp_mat = getAffineTransform( srcTri, dstTri );

  Java

          Mat warpMat = Imgproc.getAffineTransform( new MatOfPoint2f(srcTri), new MatOfPoint2f(dstTri) );

  Python

  warp_mat = cv.getAffineTransform(srcTri, dstTri)

  出力として \(2 \times 3\) の行列が得られる（この場合は warp_mat）

• 次に、求めたアフィン変換を src 画像に適用する

  C++

   Mat warp_dst = Mat::zeros( src.rows, src.cols, src.type() );
   
   warpAffine( src, warp_dst, warp_mat, warp_dst.size() );

  Java

          Mat warpDst = Mat.zeros( src.rows(), src.cols(), src.type() );
   
          Imgproc.warpAffine( src, warpDst, warpMat, warpDst.size() );

  Python

  warp_dst = cv.warpAffine(src, warp_mat, (src.shape[1], src.shape[0]))

  引数は次のとおり:

  • src: 入力画像
  • warp_dst: 出力画像
  • warp_mat: アフィン変換
  • warp_dst.size(): 出力画像の希望サイズ

  最初の変換画像が得られた。これは後ほど表示する。その前に、画像を回転させたい...

• 回転: 画像を回転させるには、次の2つを知る必要がある:

  1. 画像を回転させる中心
  2. 回転させる角度。OpenCVでは正の角度は反時計回りである
  3. 省略可能: スケール係数

  これらのパラメータは次のスニペットで定義する:

  C++

   Point center = Point( warp_dst.cols/2, warp_dst.rows/2 );
   double angle = -50.0;
   double scale = 0.6;

  Java

   Point center = new Point(warpDst.cols() / 2, warpDst.rows() / 2);
   double angle = -50.0;
   double scale = 0.6;

  Python

  center = (warp_dst.shape[1]//2, warp_dst.shape[0]//2)
  angle = -50
  scale = 0.6

• OpenCVの関数 cv::getRotationMatrix2D で回転行列を生成する。これは \(2 \times 3\) の行列（この場合は rot_mat）を返す。

  C++

   Mat rot_mat = getRotationMatrix2D( center, angle, scale );

  Java

          Mat rotMat = Imgproc.getRotationMatrix2D( center, angle, scale );

  Python

  rot_mat = cv.getRotationMatrix2D( center, angle, scale )

• 求めた回転を、前の変換の出力に対して適用する:

  C++

   Mat warp_rotate_dst;
   warpAffine( warp_dst, warp_rotate_dst, rot_mat, warp_dst.size() );

  Java

          Mat warpRotateDst = new Mat();
          Imgproc.warpAffine( warpDst, warpRotateDst, rotMat, warpDst.size() );

  Python

  warp_rotate_dst = cv.warpAffine(warp_dst, rot_mat, (warp_dst.shape[1], warp_dst.shape[0]))

• 最後に、結果を2つのウィンドウに表示し、念のため元画像も表示する:

  C++

   imshow( "Source image", src );
   imshow( "Warp", warp_dst );
   imshow( "Warp + Rotate", warp_rotate_dst );

  Java

          HighGui.imshow( "Source image", src );
          HighGui.imshow( "Warp", warpDst );
          HighGui.imshow( "Warp + Rotate", warpRotateDst );

  Python

  cv.imshow('Source image', src)
  cv.imshow('Warp', warp_dst)
  cv.imshow('Warp + Rotate', warp_rotate_dst)

• あとはユーザーがプログラムを終了するまで待つだけである

  C++

   waitKey();

  Java

          HighGui.waitKey(0);

  Python

  cv.waitKey()

結果

• 上記のコードをコンパイルした後、引数として画像のパスを与えることができる。例えば次のような画像の場合:

最初のアフィン変換を適用すると、次が得られる:

そして最後に、負の回転（負は時計回りを意味することを思い出してほしい）とスケール係数を適用すると、次が得られる: