このチュートリアルでは、'dnn_superres' インターフェースを使用して、複数出力の学習済みニューラルネットワークによって画像をアップスケールする方法を学ぶ。OpenCVのdnnモジュールは、ノード名を与えれば、1回の推論で複数のノードにアクセスすることをサポートしている。現在、1回の推論実行で複数の出力を得ることができるモデルが1つ含まれており、それがLapSRNモデルである。LapSRNは1回のフォワードパスで複数の出力をサポートする。現在では2x、4x、8x、および (2x, 4x)、(2x, 4x, 8x) の超解像をサポートできる。アップロードされている学習済みモデルファイルには、次の出力ノード名がある：

2xモデル: NCHW_output
4xモデル: NCHW_output_2x, NCHW_output_4x
8xモデル: NCHW_output_2x, NCHW_output_4x, NCHW_output_8x

ビルド

OpenCVをビルドする際、contribモジュールをすべてビルドするには次のコマンドを実行する。

cmake -D OPENCV_EXTRA_MODULES_PATH=<opencv_contrib>/modules/

または dnn_superres モジュールのみをビルドする。

cmake -D OPENCV_EXTRA_MODULES_PATH=<opencv_contrib>/modules/dnn_superres

または、CMakeのGUI版である cmake-gui で dnn_superres モジュールにチェックが入っていることを確認する。

サンプルのソースコード

次のコマンドでサンプルコードを実行する

./bin/example_dnn_superres_dnn_superres_multioutput path/to/image.png 2,4 NCHW_output_2x,NCHW_output_4x \

path/to/opencv_contrib/modules/dnn_superres/models/LapSRN_x4.pb

// This file is part of OpenCV project.
// It is subject to the license terms in the LICENSE file found in the top-level directory
// of this distribution and at http://opencv.org/license.html.
 
#include <iostream>
#include <sstream>
#include <opencv2/dnn_superres.hpp>
 
#include <opencv2/imgproc.hpp>
#include <opencv2/highgui.hpp>
 
using namespace std;
using namespace cv;
using namespace dnn_superres;
 
int main(int argc, char *argv[])
{
 // Check for valid command line arguments, print usage
 // if insufficient arguments were given.
 if (argc < 4) {
        cout << "usage:   Arg 1: image     | Path to image" << endl;
        cout << "\t Arg 2: scales in a format of 2,4,8\n";
        cout << "\t Arg 3: output node names in a format of nchw_output_0,nchw_output_1\n";
        cout << "\t Arg 4: path to model file \n";
 return -1;
    }
 
 string img_path = string(argv[1]);
 string scales_str = string(argv[2]);
 string output_names_str = string(argv[3]);
    std::string path = string(argv[4]);
 
 //Parse the scaling factors
    std::vector<int> scales;
 char delim = ',';
    {
        std::stringstream ss(scales_str);
        std::string token;
 while (std::getline(ss, token, delim)) {
            scales.push_back(atoi(token.c_str()));
        }
    }
 
 //Parse the output node names
    std::vector<String> node_names;
    {
        std::stringstream ss(output_names_str);
        std::string token;
 while (std::getline(ss, token, delim)) {
            node_names.push_back(token);
        }
    }
 
 // Load the image
 Mat img = cv::imread(img_path);
 Mat original_img(img);
 if (img.empty())
    {
        std::cerr << "Couldn't load image: " << img << "\n";
 return -2;
    }
 
 //Make dnn super resolution instance
    DnnSuperResImpl sr;
 int scale = *max_element(scales.begin(), scales.end());
    std::vector<Mat> outputs;
    sr.readModel(path);
    sr.setModel("lapsrn", scale);
 
    sr.upsampleMultioutput(img, outputs, scales, node_names);
 
 for(unsigned int i = 0; i < outputs.size(); i++)
    {
 cv::namedWindow("Upsampled image", WINDOW_AUTOSIZE);
 cv::imshow("Upsampled image", outputs[i]);
 //cv::imwrite("./saved.jpg", img_new);
 cv::waitKey(0);
    }
 
 return 0;
}

解説

ヘッダと名前空間の設定
#include <opencv2/dnn_superres.hpp>

using namespace std;

using namespace cv;

using namespace dnn_superres;
Dnn Superresオブジェクトを作成する
DnnSuperResImpl sr;

dnn超解像オブジェクトをインスタンス化する。
モデルを読み込む
path = "models/LapSRN_x8.pb"

sr.readModel(path);

指定したパスからモデルを読み込む。
モデルを設定する
sr.setModel("lapsrn", 8);

アルゴリズムとスケーリング係数を設定する。ここには最後の（最大の）スケーリング係数を指定する。
ノード名とスケーリング係数を指定する
std::vector<int> scales{2, 4, 8}

std::vector<int> node_names{'NCHW_output_2x','NCHW_output_4x','NCHW_output_8x'}

スケーリング係数と、モデル内の出力ノード名を設定する。
画像を拡大する
Mat img = cv::imread(img_path);

std::vector<Mat> outputs;

sr.upsampleMultioutput(img, outputs, scales, node_names);

推論を実行する。出力画像はMatのベクトルに格納される。