Information Flowアルファマッティング

このプロジェクトは Google Summer of Code 2019 の一環であった。

学生: Muskaan Kularia

メンター: Sunita Nayak

アルファマッティングは、背景画像から滑らかな境界を持つ前景を抽出する問題である。抽出した前景は、画像の背景を変更するなどのさらなる処理に利用できる。

入力画像とそれに対応するトライマップが与えられたとき、背景から前景を抽出する。以下はその例である。

入力画像:

入力画像はRGB画像であることが望ましい。

入力トライマップ:

トライマップ画像はグレースケール画像であり、前景(白いピクセル)、背景(黒いピクセル)、未確定(灰色)のピクセルに関する情報を含む。

出力アルファマット:

計算されたアルファマットはグレースケール画像として保存され、ピクセル値は抽出された前景オブジェクトの不透明度を示す。これらの不透明度の値を用いて、以下に示すように前景オブジェクトを別の背景に合成できる。

以下にさらにいくつかの結果を示す。

1列目は入力RGB画像、2列目は入力トライマップ、3列目は抽出されたアルファマット、最後の2列は新しい背景に合成された前景オブジェクトを示す。

このプロジェクトは [9] の実装である。また、他の論文[2,3,4]の一部の実装も必要とした。

ビルド

このモジュールはEigenパッケージを使用する。

buildフォルダ内で以下の2つのcmakeコマンドを実行して、alphamatモジュールのサンプルコードをビルドする。

cmake -DOPENCV_EXTRA_MODULES_PATH=<path to opencv_contrib modules> -DBUILD_EXAMPLES=ON ..
 
cmake --build . --config Release --target example_alphamat_information_flow_matting

必要に応じて、さらに詳しい情報はOpenCVのビルドチュートリアルを参照すること。

テスト

ビルドしたターゲットは以下のようにテストできる。

<path to your opencv build directory>/bin/example_alphamat_information_flow_matting -img=<path to input image file> -tri=<path to the corresponding trimap> -out=<path to save output matte file>

サンプルのソースコード

// This file is part of OpenCV project.
// It is subject to the license terms in the LICENSE file found in the top-level directory
// of this distribution and at http://opencv.org/license.html.
 
// Include relevant headers
#include <iostream>
#include "opencv2/highgui.hpp"
#include <opencv2/core.hpp>
#include <opencv2/imgproc.hpp>
#include <opencv2/alphamat.hpp>
 
// Set namespaces
using namespace std;
using namespace cv;
using namespace cv::alphamat;
 
// Set the usage parameter names
const char* keys =
 "{img || input image name}"
 "{tri || input trimap image name}"
 "{out || output image name}"
 "{help h || print help message}"
;
 
int main(int argc, char* argv[])
{
 CommandLineParser parser(argc, argv, keys);
    parser.about("This sample demonstrates Information Flow Alpha Matting");
 
 if (parser.has("help"))
    {
        parser.printMessage();
 return 0;
    }
 
 // Read the paths to the input image, input trimap and the location of the output image.
 string img_path = parser.get<std::string>("img");
 string trimap_path = parser.get<std::string>("tri");
 string result_path = parser.get<std::string>("out");
 
 // Make sure the user inputs paths to the input image and trimap
 if (!parser.check()
            || img_path.empty() || trimap_path.empty())
    {
        parser.printMessage();
        parser.printErrors();
 return 1;
    }
 
 Mat image, tmap;
 
 // Read the input image
    image = imread(img_path, IMREAD_COLOR);
 if (image.empty())
    {
        printf("Cannot read image file: '%s'\n", img_path.c_str());
 return 1;
    }
 
 // Read the trimap
    tmap = imread(trimap_path, IMREAD_GRAYSCALE);
 if (tmap.empty())
    {
        printf("Cannot read trimap file: '%s'\n", trimap_path.c_str());
 return 1;
    }
 
 Mat result;
 // Perform information flow alpha matting
 infoFlow(image, tmap, result);
 
 if (result_path.empty())
    {
 // Show the alpha matte if a result filepath is not provided.
 namedWindow("result alpha matte", WINDOW_NORMAL);
 imshow("result alpha matte", result);
 waitKey(0);
    }
 else
    {
 // Save the alphamatte
 imwrite(result_path, result);
        printf("Result saved: '%s'\n", result_path.c_str());
    }
 
 return 0;
}

参考文献

[1] Yagiz Aksoy, Tunc Ozan Aydin, Marc Pollefeys, Designing Effective Inter-Pixel Information Flow for Natural Image Matting, CVPR, 2017.

[2] Roweis, Sam T., and Lawrence K. Saul. Nonlinear dimensionality reduction by locally linear embedding, Science 290.5500 (2000): 2323-2326.

[3] Anat Levin, Dani Lischinski, Yair Weiss, A Closed Form Solution to Natural Image Matting, IEEE TPAMI, 2008.

[4] Qifeng Chen, Dingzeyu Li, Chi-Keung Tang, KNN Matting, IEEE TPAMI, 2013.

[5] Yagiz Aksoy, Affinity Based Matting Toolbox.