ハイダイナミックレンジイメージング

目次

• はじめに
• 露光シーケンス
• ソースコード
• サンプル画像
• 解説
• Results
  • トーンマッピング画像
  • 露光合成 (Exposure fusion)
• 追加リソース

次のチュートリアル: 高レベルなスティッチングAPI (Stitcherクラス)

原著者	Fedor Morozov
互換性	OpenCV >= 3.0

はじめに

今日のデジタル画像や撮像機器の多くは、チャンネルあたり8ビットを使用しており、機器のダイナミックレンジを2桁（実際には256階調）に制限している。一方、人間の目は10桁にわたって変化する照明条件に適応できる。実世界のシーンを撮影すると、明るい領域は露出オーバーになり、暗い領域は露出アンダーになることがあり、単一の露出ではすべてのディテールを捉えることができない。HDRイメージングは、チャンネルあたり8ビットを超える（通常は32ビット浮動小数点値）画像を扱い、はるかに広いダイナミックレンジを可能にする。

HDR画像を得る方法はいくつかあるが、最も一般的なのは、異なる露出値で撮影したシーンの写真を使う方法である。これらの露出を合成するには、カメラのレスポンス関数を知っておくと便利であり、それを推定するアルゴリズムも存在する。HDR画像を合成した後は、通常のディスプレイで表示するために8ビットへ変換し直す必要がある。この処理をトーンマッピングと呼ぶ。シーン内の物体やカメラが撮影間で動く場合、異なる露出の画像を位置合わせ・アライメントする必要があるため、さらに複雑になる。

このチュートリアルでは、露出シーケンスからHDR画像を生成して表示する方法を示す。ここでは画像はすでにアライメントされており、動く物体もない。また、低ダイナミックレンジの画像を生成する露出合成 (exposure fusion) という別のアプローチも紹介する。HDRパイプラインの各ステップは異なるアルゴリズムで実装できるため、それらすべてを確認するにはリファレンスマニュアルを参照してほしい。

露光シーケンス

ソースコード

C++

このチュートリアルのコードを以下に示す。ここからダウンロードすることもできる

#include "opencv2/photo.hpp"
#include "opencv2/imgcodecs.hpp"
#include "opencv2/highgui.hpp"
 
#include <vector>
#include <iostream>
#include <fstream>
 
using namespace cv;
using namespace std;
 
void loadExposureSeq(String, vector<Mat>&, vector<float>&);
 
int main(int argc, char**argv)
{
 CommandLineParser parser( argc, argv, "{@input | | Input directory that contains images and exposure times. }" );
 
    vector<Mat> images;
    vector<float> times;
    loadExposureSeq(parser.get<String>( "@input" ), images, times);
 
 Mat response;
 Ptr<CalibrateDebevec> calibrate = createCalibrateDebevec();
    calibrate->process(images, response, times);
 
 Mat hdr;
 Ptr<MergeDebevec> merge_debevec = createMergeDebevec();
    merge_debevec->process(images, hdr, times, response);
 
 Mat ldr;
 Ptr<TonemapDrago> tonemap = createTonemapDrago(2.2f);
    tonemap->process(hdr, ldr);
 
 Mat fusion;
 Ptr<MergeMertens> merge_mertens = createMergeMertens();
    merge_mertens->process(images, fusion);
 
    imwrite("fusion.png", fusion * 255);
    imwrite("ldr.png", ldr * 255);
    imwrite("hdr.hdr", hdr);
 
 return 0;
}
 
void loadExposureSeq(String path, vector<Mat>& images, vector<float>& times)
{
    path = path + "/";
    ifstream list_file((path + "list.txt").c_str());
 string name;
 float val;
 while(list_file >> name >> val) {
 Mat img = imread(path + name);
        images.push_back(img);
        times.push_back(1 / val);
    }
    list_file.close();
}

Java

このチュートリアルのコードを以下に示す。ここからダウンロードすることもできる

import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.util.ArrayList;
import java.util.List;
 
import org.opencv.core.Core;
import org.opencv.core.CvType;
import org.opencv.core.Mat;
import org.opencv.core.Scalar;
import org.opencv.imgcodecs.Imgcodecs;
import org.opencv.photo.CalibrateDebevec;
import org.opencv.photo.MergeDebevec;
import org.opencv.photo.MergeMertens;
import org.opencv.photo.Photo;
import org.opencv.photo.Tonemap;
 
class HDRImaging {
 public void loadExposureSeq(String path, List<Mat> images, List<Float> times) {
        path += "/";
 
        List<String> lines;
 try {
            lines = Files.readAllLines(Paths.get(path + "list.txt"));
 
 for (String line : lines) {
                String[] splitStr = line.split("\\s+");
 if (splitStr.length == 2) {
                    String name = splitStr[0];
                    Mat img = Imgcodecs.imread(path + name);
                    images.add(img);
 float val = Float.parseFloat(splitStr[1]);
                    times.add(1/ val);
                }
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
 
 public void run(String[] args) {
 String path = args.length > 0 ? args[0] : "";
 if (path.isEmpty()) {
            System.out.println("Path is empty. Use the directory that contains images and exposure times.");
            System.exit(0);
        }
 
        List<Mat> images = new ArrayList<>();
        List<Float> times = new ArrayList<>();
        loadExposureSeq(path, images, times);
 
        Mat response = new Mat();
        CalibrateDebevec calibrate = Photo.createCalibrateDebevec();
        Mat matTimes = new Mat(times.size(), 1, CvType.CV_32F);
 float[] arrayTimes = new float[(int) (matTimes.total()*matTimes.channels())];
 for (int i = 0; i < times.size(); i++) {
            arrayTimes[i] = times.get(i);
        }
        matTimes.put(0, 0, arrayTimes);
 calibrate.process(images, response, matTimes);
 
        Mat hdr = new Mat();
        MergeDebevec mergeDebevec = Photo.createMergeDebevec();
        mergeDebevec.process(images, hdr, matTimes);
 
        Mat ldr = new Mat();
        Tonemap tonemap = Photo.createTonemap(2.2f);
        tonemap.process(hdr, ldr);
 
        Mat fusion = new Mat();
        MergeMertens mergeMertens = Photo.createMergeMertens();
        mergeMertens.process(images, fusion);
 
        Core.multiply(fusion, new Scalar(255,255,255), fusion);
        Core.multiply(ldr, new Scalar(255,255,255), ldr);
        Imgcodecs.imwrite("fusion.png", fusion);
        Imgcodecs.imwrite("ldr.png", ldr);
        Imgcodecs.imwrite("hdr.hdr", hdr);
 
        System.exit(0);
    }
}
 
public class HDRImagingDemo {
 public static void main(String[] args) {
 // Load the native OpenCV library
        System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
 
 new HDRImaging().run(args);
    }
}

Python

このチュートリアルのコードを以下に示す。ここからダウンロードすることもできる

from __future__ import print_function
from __future__ import division
import cv2 as cv
import numpy as np
import argparse
import os
 
def loadExposureSeq(path):
    images = []
    times = []
 with open(os.path.join(path, 'list.txt')) as f:
        content = f.readlines()
 for line in content:
        tokens = line.split()
        images.append(cv.imread(os.path.join(path, tokens[0])))
        times.append(1 / float(tokens[1]))
 
 return images, np.asarray(times, dtype=np.float32)
 
parser = argparse.ArgumentParser(description='Code for High Dynamic Range Imaging tutorial.')
parser.add_argument('--input', type=str, help='Path to the directory that contains images and exposure times.')
args = parser.parse_args()
 
if not args.input:
    parser.print_help()
    exit(0)
 
 
images, times = loadExposureSeq(args.input)
 
 
 
calibrate = cv.createCalibrateDebevec()
response = calibrate.process(images, times)
 
 
 
merge_debevec = cv.createMergeDebevec()
hdr = merge_debevec.process(images, times, response)
 
 
 
tonemap = cv.createTonemapDrago(2.2)
ldr = tonemap.process(hdr)
 
 
 
merge_mertens = cv.createMergeMertens()
fusion = merge_mertens.process(images)
 
 
 
cv.imwrite('fusion.png', fusion * 255)
cv.imwrite('ldr.png', ldr * 255)
cv.imwrite('hdr.hdr', hdr)
 

サンプル画像

画像・露光時間・list.txt ファイルを含むデータディレクトリはここからダウンロードできる。

解説

• 画像と露出時間の読み込み

C++

    vector<Mat> images;
    vector<float> times;
    loadExposureSeq(parser.get<String>( "@input" ), images, times);

Java

        List<Mat> images = new ArrayList<>();
        List<Float> times = new ArrayList<>();
        loadExposureSeq(path, images, times);

Python

images, times = loadExposureSeq(args.input)

まず、ユーザーが指定したフォルダから入力画像と露出時間を読み込む。フォルダには画像と、ファイル名および露出時間の逆数を含むファイル list.txt が入っている必要がある。

今回の画像シーケンスでは、リストは次のようになっている:

memorial00.png 0.03125
memorial01.png 0.0625
...
memorial15.png 1024

• カメラレスポンスの推定

C++

 Mat response;
 Ptr<CalibrateDebevec> calibrate = createCalibrateDebevec();
 calibrate->process(images, response, times);

Java

        Mat response = new Mat();
        CalibrateDebevec calibrate = Photo.createCalibrateDebevec();
        Mat matTimes = new Mat(times.size(), 1, CvType.CV_32F);
 float[] arrayTimes = new float[(int) (matTimes.total()*matTimes.channels())];
 for (int i = 0; i < times.size(); i++) {
            arrayTimes[i] = times.get(i);
        }
        matTimes.put(0, 0, arrayTimes);
 calibrate.process(images, response, matTimes);

Python

calibrate = cv.createCalibrateDebevec()
response = calibrate.process(images, times)

多くのHDR構築アルゴリズムでは、カメラレスポンス関数 (CRF) を知ることが必要である。ここではキャリブレーションアルゴリズムの1つを使い、256個すべてのピクセル値に対する逆CRFを推定する。

• HDR画像の生成

C++

 Mat hdr;
 Ptr<MergeDebevec> merge_debevec = createMergeDebevec();
    merge_debevec->process(images, hdr, times, response);

Java

        Mat hdr = new Mat();
        MergeDebevec mergeDebevec = Photo.createMergeDebevec();
        mergeDebevec.process(images, hdr, matTimes);

Python

merge_debevec = cv.createMergeDebevec()
hdr = merge_debevec.process(images, times, response)

前項で計算したレスポンスを用いて、Debevecの重み付け方式によりHDR画像を構築する。

• HDR画像のトーンマップ

C++

 Mat ldr;
 Ptr<TonemapDrago> tonemap = createTonemapDrago(2.2f);
    tonemap->process(hdr, ldr);

Java

        Mat ldr = new Mat();
        Tonemap tonemap = Photo.createTonemap(2.2f);
        tonemap.process(hdr, ldr);

Python

tonemap = cv.createTonemapDrago(2.2)
ldr = tonemap.process(hdr)

一般的なLDRディスプレイで結果を見たいので、HDR画像を可能な限りディテールを保ったまま8ビットの範囲にマッピングする必要がある。これがトーンマッピング手法の主目的である。ここではバイラテラルフィルタリングを用いたトーンマッパーを使い、ガンマ補正の値として2.2を設定する。

• 露出合成の実行

C++

 Mat fusion;
 Ptr<MergeMertens> merge_mertens = createMergeMertens();
    merge_mertens->process(images, fusion);

Java

        Mat fusion = new Mat();
        MergeMertens mergeMertens = Photo.createMergeMertens();
        mergeMertens.process(images, fusion);

Python

merge_mertens = cv.createMergeMertens()
fusion = merge_mertens.process(images)

HDR画像が必要ない場合に、露出を合成する別の方法がある。この処理は露出合成 (exposure fusion) と呼ばれ、ガンマ補正を必要としないLDR画像を生成する。また、写真の露出値も使用しない。

• 結果の書き出し

C++

 imwrite("fusion.png", fusion * 255);
 imwrite("ldr.png", ldr * 255);
 imwrite("hdr.hdr", hdr);

Java

        Core.multiply(fusion, new Scalar(255,255,255), fusion);
        Core.multiply(ldr, new Scalar(255,255,255), ldr);
        Imgcodecs.imwrite("fusion.png", fusion);
        Imgcodecs.imwrite("ldr.png", ldr);
        Imgcodecs.imwrite("hdr.hdr", hdr);

Python

cv.imwrite('fusion.png', fusion * 255)
cv.imwrite('ldr.png', ldr * 255)
cv.imwrite('hdr.hdr', hdr)

いよいよ結果を見るときである。HDR画像は一般的な画像フォーマットには保存できないため、Radiance画像 (.hdr) として保存する点に注意。また、すべてのHDRイメージング関数は結果を [0, 1] の範囲で返すため、結果に255を掛ける必要がある。

他のトーンマップアルゴリズム、cv::TonemapDrago、cv::TonemapMantiuk、cv::TonemapReinhard を試すこともできる。また、自分の写真に合わせてHDRキャリブレーションやトーンマップ手法のパラメータを調整することもできる。

結果

トーンマッピング画像

露光合成 (Exposure fusion)

追加リソース

1. Paul E Debevec and Jitendra Malik. Recovering high dynamic range radiance maps from photographs. In ACM SIGGRAPH 2008 classes, page 31. ACM, 2008. [71]
2. Mark A Robertson, Sean Borman, and Robert L Stevenson. Dynamic range improvement through multiple exposures. In Image Processing, 1999. ICIP 99. Proceedings. 1999 International Conference on, volume 3, pages 159–163. IEEE, 1999. [235]
3. Tom Mertens, Jan Kautz, and Frank Van Reeth. Exposure fusion. In Computer Graphics and Applications, 2007. PG'07. 15th Pacific Conference on, pages 382–390. IEEE, 2007. [195]
4. Wikipedia-HDR
5. Recovering High Dynamic Range Radiance Maps from Photographs (webページ)