動画のアップスケーリング

このチュートリアルでは、'dnn_superres' インターフェースを用いて、学習済みニューラルネットワークによって動画をアップスケールする方法を学ぶ。

ビルド

OpenCVをビルドする際、contribモジュールをすべてビルドするには次のコマンドを実行する。

cmake -D OPENCV_EXTRA_MODULES_PATH=<opencv_contrib>/modules/

または dnn_superres モジュールのみをビルドする。

cmake -D OPENCV_EXTRA_MODULES_PATH=<opencv_contrib>/modules/dnn_superres

または、CMakeのGUI版である cmake-gui で dnn_superres モジュールにチェックが入っていることを確認する。

サンプルのソースコード

// This file is part of OpenCV project.
// It is subject to the license terms in the LICENSE file found in the top-level directory
// of this distribution and at http://opencv.org/license.html.
 
#include <iostream>
 
#include <opencv2/dnn_superres.hpp>
 
#include <opencv2/imgproc.hpp>
#include <opencv2/highgui.hpp>
 
using namespace std;
using namespace cv;
using namespace dnn_superres;
 
int main(int argc, char *argv[])
{
 // Check for valid command line arguments, print usage
 // if insufficient arguments were given.
 if (argc < 4) {
        cout << "usage:   Arg 1: input video path" << endl;
        cout << "\t Arg 2: output video path" << endl;
        cout << "\t Arg 3: algorithm | edsr, espcn, fsrcnn or lapsrn" << endl;
        cout << "\t Arg 4: scale     | 2, 3, 4 or 8 \n";
        cout << "\t Arg 5: path to model file \n";
 return -1;
    }
 
 string input_path = string(argv[1]);
 string output_path = string(argv[2]);
 string algorithm = string(argv[3]);
 int scale = atoi(argv[4]);
 string path = string(argv[5]);
 
 VideoCapture input_video(input_path);
 int ex = static_cast<int>(input_video.get(CAP_PROP_FOURCC));
 Size S = Size((int) input_video.get(CAP_PROP_FRAME_WIDTH) * scale,
                  (int) input_video.get(CAP_PROP_FRAME_HEIGHT) * scale);
 
 VideoWriter output_video;
    output_video.open(output_path, ex, input_video.get(CAP_PROP_FPS), S, true);
 
 if (!input_video.isOpened())
    {
        std::cerr << "Could not open the video." << std::endl;
 return -1;
    }
 
    DnnSuperResImpl sr;
    sr.readModel(path);
    sr.setModel(algorithm, scale);
 
 for(;;)
    {
 Mat frame, output_frame;
        input_video >> frame;
 
 if ( frame.empty() )
 break;
 
        sr.upsample(frame, output_frame);
        output_video << output_frame;
 
        namedWindow("Upsampled video", WINDOW_AUTOSIZE);
        imshow("Upsampled video", output_frame);
 
        namedWindow("Original video", WINDOW_AUTOSIZE);
        imshow("Original video", frame);
 
 char c=(char)waitKey(25);
 if(c==27)
 break;
    }
 
    input_video.release();
    output_video.release();
 
 return 0;
}

解説

1. ヘッダと名前空間の設定

   #include <opencv2/dnn_superres.hpp>
   using namespace std;
   using namespace cv;
   using namespace dnn_superres;

2. Dnn Superres オブジェクトの作成

   DnnSuperResImpl sr;

   DNN超解像オブジェクトをインスタンス化する。
3. モデルの読み込み

   path = "models/ESPCN_x2.pb"
   sr.readModel(path);
   sr.setModel("espcn", 2);

   指定したパスからモデルを読み込み、アルゴリズムと拡大率を設定する。
4. 動画の拡大

   for(;;)
   {
    Mat frame, output_frame;
    input_video >> frame;
    if ( frame.empty() )
    break;
    sr.upsample(frame, output_frame);
    ...
   }

   動画をフレームごとに処理して拡大する。