詳細説明

はじめに

コンピュータビジョンで最も難しい作業のひとつが、与えられた画像から有用な情報を抽出することである。そのような情報は通常、何らかの性質（たとえばスケール不変性）を保持し、入力画像を実際に代表する点の形で得られる。

このモジュールの目的は、画像内の新しい種類の代表的情報を探し出し、その抽出と表現のための機能を提供することである。特に、画像内の重要な要素を検出する従来の手法とは異なり、点の代わりに線を抽出する。線の性質を要約するために、再利用や描画の目的で専用の新しいクラスが定義されている。

バイナリ記述子の計算

画像のあるオクターブから検出された特定の線を表すバイナリ記述子を得るために、まず [325] に記載されているように非バイナリの記述子を計算する。このアルゴリズムは、[299] で説明されているEDLine検出器を用いて抽出された線に対して動作する。1本の線が与えられたとき、それを中心とする矩形領域を考え、これを 線支持領域 (line support region, LSR) と呼ぶ。この領域は一連のバンド \(\{B_1, B_2, ..., B_m\}\) に分割され、その長さは線の長さに等しい。

線の方向を \(\bf{d}_L\) で表すと、線に対して直交し時計回りの方向 \(\bf{d}_{\perp}\) を求めることができる。これら2つの方向は、線の中点を中心とする基準フレームを構成するために使われる。LSR内のピクセルの勾配 \(\bf{g'}\) は新たに定めたフレームへ射影でき、その局所的等価量 \(\bf{g'} = (\bf{g}^T \cdot \bf{d}_{\perp}, \bf{g}^T \cdot \bf{d}_L)^T \triangleq (\bf{g'}_{d_{\perp}}, \bf{g'}_{d_L})^T\) が得られる。

その後、LSRのすべてのピクセルに対し \(\bf{d}_\perp\) 方向に沿ってガウス関数が適用される。まず、LSR内の i*番目の行に大域的な重み係数 \(f_g(i) = (1/\sqrt{2\pi}\sigma_g)e^{-d^2_i/2\sigma^2_g}\) を割り当てる。ここで \(d_i\) はLSR内の中心行から i 番目の行までの距離、\(\sigma_g = 0.5(m \cdot w - 1)\) であり、\(w\) はバンドの幅（すべてのバンドで同一）である。次に、あるバンド \(B_j\) とその隣接バンド \(B_{j-1}, B_{j+1}\) を考え、局所的な重み \(F_l(k) = (1/\sqrt{2\pi}\sigma_l)e^{-d'^2_k/2\sigma_l^2}\) を割り当てる。ここで \(d'_k\) は \(B_j\) 内の中心行から k 番目の行までの距離、\(\sigma_l = w\) である。大域的および局所的な重みを用いることで、それぞれ線から離れた勾配の影響の低減と境界効果の低減を同時に実現する。

LSR内の各バンド \(B_j\) には、前後のバンドを考慮して計算される バンド記述子 (band descriptor, BD) が対応づけられる（最初と最後のバンドの記述子を計算する際は、上端と下端のバンドは無視される）。各バンドにBDが割り当てられると、線のLBD記述子は単純に次で与えられる。

\[LBD = (BD_1^T, BD_2^T, ... , BD^T_m)^T.\]

バンド記述子 \(B_j\) を計算するには、その中の各 k 番目の行を考え、その行内の勾配を累積する。

\[\begin{matrix} \bf{V1}^k_j = \lambda \sum\limits_{\bf{g}'_{d_\perp}>0}\bf{g}'_{d_\perp}, & \bf{V2}^k_j = \lambda \sum\limits_{\bf{g}'_{d_\perp}<0} -\bf{g}'_{d_\perp}, \\ \bf{V3}^k_j = \lambda \sum\limits_{\bf{g}'_{d_L}>0}\bf{g}'_{d_L}, & \bf{V4}^k_j = \lambda \sum\limits_{\bf{g}'_{d_L}<0} -\bf{g}'_{d_L}\end{matrix}.\]

ここで \(\lambda = f_g(k)f_l(k)\) である。

これまでの結果を積み重ねることで、バンド記述行列 (band description matrix, BDM) が得られる。

\[BDM_j = \left(\begin{matrix} \bf{V1}_j^1 & \bf{V1}_j^2 & \ldots & \bf{V1}_j^n \\ \bf{V2}_j^1 & \bf{V2}_j^2 & \ldots & \bf{V2}_j^n \\ \bf{V3}_j^1 & \bf{V3}_j^2 & \ldots & \bf{V3}_j^n \\ \bf{V4}_j^1 & \bf{V4}_j^2 & \ldots & \bf{V4}_j^n \end{matrix} \right) \in \mathbb{R}^{4\times n},\]

ここで \(n\) はバンド \(B_j\) 内の行数である。

\[n = \begin{cases} 2w, & j = 1||m; \\ 3w, & \mbox{else}. \end{cases}\]

各 \(BD_j\) は、\(BDM_J\) の標準偏差ベクトル \(S_j\) と平均ベクトル \(M_j\) を用いて求められる。したがって最終的に次のようになる。

\[LBD = (M_1^T, S_1^T, M_2^T, S_2^T, \ldots, M_m^T, S_m^T)^T \in \mathbb{R}^{8m}\]

LBDが得られたら、それをバイナリ形式に変換しなければならない。その目的で、LBD内の32通りのBDのペアを考える。各BDの組はビットごとに比較され、比較によって8ビットの文字列が生成される。32個の比較文字列を連結することで、単一のLBDの256ビットの最終バイナリ表現が得られる。

クラス
class	cv::line_descriptor::BinaryDescriptor
	このクラスは線分の検出と、その2値記述子の計算という両方の機能を実装する。詳細...

class	cv::line_descriptor::BinaryDescriptorMatcher
	記述子マッチャーのモデルに従い、ユーザが提供するデータセット、またはクラス内部のデータセット（いずれにせよユーザが値を設定する必要がある）に対して問い合わせを行うためのすべての機能を提供する。続き...

struct	cv::line_descriptor::DrawLinesMatchesFlags

struct	cv::line_descriptor::KeyLine
	線分を表すクラス。詳細...

class	cv::line_descriptor::LSDDetector

struct	cv::line_descriptor::LSDParam

関数
void	cv::line_descriptor::drawKeylines (const Mat &image, const std::vector< KeyLine > &keylines, Mat &outImage, const Scalar &color=Scalar::all(-1), int flags=DrawLinesMatchesFlags::DEFAULT)
	キーライン (keyline) を描画する。

void	cv::line_descriptor::drawLineMatches (const Mat &img1, const std::vector< KeyLine > &keylines1, const Mat &img2, const std::vector< KeyLine > &keylines2, const std::vector< DMatch > &matches1to2, Mat &outImg, const Scalar &matchColor=Scalar::all(-1), const Scalar &singleLineColor=Scalar::all(-1), const std::vector< char > &matchesMask=std::vector< char >(), int flags=DrawLinesMatchesFlags::DEFAULT)
	2枚の画像から見つかったキーライン (keyline) のマッチを描画する。

関数詳解

◆ drawKeylines()

void cv::line_descriptor::drawKeylines	(	const Mat &	image,
		const std::vector< KeyLine > &	keylines,
		Mat &	outImage,
		const Scalar &	color = Scalar::all(-1),
		int	flags = DrawLinesMatchesFlags::DEFAULT )

Python:
	cv.line_descriptor.drawKeylines(	image, keylines[, outImage[, color[, flags]]]	) ->	outImage

#include <opencv2/line_descriptor/descriptor.hpp>

キーラインを描画する。

引数

image	入力画像
keylines	描画するキーライン
outImage	描画先の出力画像
color	描画する線の色（デフォルト値に設定すると色はランダムに選ばれる）
flags	描画フラグ

◆ drawLineMatches()

void cv::line_descriptor::drawLineMatches	(	const Mat &	img1,
		const std::vector< KeyLine > &	keylines1,
		const Mat &	img2,
		const std::vector< KeyLine > &	keylines2,
		const std::vector< DMatch > &	matches1to2,
		Mat &	outImg,
		const Scalar &	matchColor = Scalar::all(-1),
		const Scalar &	singleLineColor = Scalar::all(-1),
		const std::vector< char > &	matchesMask = std::vector< char >(),
		int	flags = DrawLinesMatchesFlags::DEFAULT )

Python:
	cv.line_descriptor.drawLineMatches(	img1, keylines1, img2, keylines2, matches1to2[, outImg[, matchColor[, singleLineColor[, matchesMask[, flags]]]]]	) ->	outImg

#include <opencv2/line_descriptor/descriptor.hpp>

2枚の画像のキーライン間で見つかったマッチを描画する。

引数

img1	1枚目の画像
keylines1	1枚目の画像から抽出したキーライン
img2	2枚目の画像
keylines2	2枚目の画像から抽出したキーライン
matches1to2	マッチのベクトル
outImg	描画先の出力行列
matchColor	マッチの描画色（デフォルト値の場合はランダムに選ばれる）
singleLineColor	キーラインの描画色（デフォルト値の場合はランダムに選ばれる）
matchesMask	どのマッチを描画するかを示すマスク
flags	描画フラグ。DrawLinesMatchesFlags を参照

覚え書き: matchColor と singleLineColor の両方がデフォルト値に設定されている場合、関数はマッチした線とそれらを結ぶ線を同じ色で描画する