RGB-Depth Processing

クラス
class	cv::rgbd::RgbdNormals
class	cv::rgbd::DepthCleaner
class	cv::rgbd::RgbdPlane
struct	cv::rgbd::RgbdFrame
struct	cv::rgbd::OdometryFrame
class	cv::rgbd::Odometry
class	cv::rgbd::RgbdOdometry
class	cv::rgbd::ICPOdometry
class	cv::rgbd::RgbdICPOdometry
class	cv::rgbd::FastICPOdometry
struct	cv::linemod::Feature
	位置とラベルで表現される識別特徴．[【詳解】（英語］
struct	cv::linemod::Template
class	cv::linemod::QuantizedPyramid
	画像ピラミッド上で動作するモダリティを表します。[【詳解】（英語］
class	cv::linemod::Modality
	LINE テンプレートマッチング表現にプラグインするモダリティ用のインターフェースです。[【詳解】（英語］
class	cv::linemod::ColorGradient
	Modalityこれは，カラー画像から量子化されたグラデーションの向きを計算する関数です．[【詳解】（英語］
class	cv::linemod::DepthNormal
	Modalityこの関数は，密な深度マップから，量子化された表面法線を計算します．[【詳解】（英語］
struct	cv::linemod::Match
	テンプレートマッチの成功を表します。[【詳解】（英語］
class	cv::linemod::Detector
	任意のモダリティセットを用いた LINE テンプレートマッチングアルゴリズムによる物体検出器．[【詳解】（英語］

関数
CV_EXPORTS bool	cv::rgbd::isValidDepth (const float &depth)
CV_EXPORTS bool	cv::rgbd::isValidDepth (const double &depth)
CV_EXPORTS bool	cv::rgbd::isValidDepth (const short int &depth)
CV_EXPORTS bool	cv::rgbd::isValidDepth (const unsigned short int &depth)
CV_EXPORTS bool	cv::rgbd::isValidDepth (const int &depth)
CV_EXPORTS bool	cv::rgbd::isValidDepth (const unsigned int &depth)
CV_EXPORTS_W void	cv::rgbd::registerDepth (InputArray unregisteredCameraMatrix, InputArray registeredCameraMatrix, InputArray registeredDistCoeffs, InputArray Rt, InputArray unregisteredDepth, const Size &outputImagePlaneSize, OutputArray registeredDepth, bool depthDilation=false)
CV_EXPORTS_W void	cv::rgbd::depthTo3dSparse (InputArray depth, InputArray in_K, InputArray in_points, OutputArray points3d)
CV_EXPORTS_W void	cv::rgbd::depthTo3d (InputArray depth, InputArray K, OutputArray points3d, InputArray mask=noArray())
CV_EXPORTS_W void	cv::rgbd::rescaleDepth (InputArray in, int depth, OutputArray out, double depth_factor=1000.0)
CV_EXPORTS_W void	cv::rgbd::warpFrame (const Mat &image, const Mat &depth, const Mat &mask, const Mat &Rt, const Mat &cameraMatrix, const Mat &distCoeff, OutputArray warpedImage, OutputArray warpedDepth=noArray(), OutputArray warpedMask=noArray())
CV_EXPORTS_W void	cv::linemod::colormap (const Mat &quantized, CV_OUT Mat &dst)
	量子化された画像をカラーマップして表示するデバッグ関数。
CV_EXPORTS_W void	cv::linemod::drawFeatures (InputOutputArray img, const std::vector< Template > &templates, const Point2i &tl, int size=10)
	linemod の特徴を描画するデバッグ関数．[【詳解】（英語］
CV_EXPORTS_W Ptr< linemod::Detector >	cv::linemod::getDefaultLINE ()
	カラーグラデーションを用いたLINEアルゴリズムを使用した検出器のファクトリ関数。[【詳解】（英語］
CV_EXPORTS_W Ptr< linemod::Detector >	cv::linemod::getDefaultLINEMOD ()
	カラーグラデーションと深度法線を持つLINE-MODアルゴリズムを使用する検出器のためのファクトリー関数。[【詳解】（英語］
CV_WRAP	cv::linemod::Feature::Feature (int x, int y, int label)
	cv::linemod::QuantizedPyramid::Candidate::Candidate (int x, int y, int label, float score)
CV_WRAP	cv::linemod::Match::Match (int x, int y, float similarity, const String &class_id, int template_id)

詳解

kinfu_icp

関数詳解

depthTo3d()

CV_EXPORTS_W void cv::rgbd::depthTo3d	(	InputArray	depth,
		InputArray	K,
		OutputArray	points3d,
		InputArray	mask = noArray()
	)

深度画像を，整理された3次元点の集合に変換します．座標系は，xが左を向き，yが下を向き，zがカメラから離れるようになっています．

引数

depth	深度画像（short int CV_U として与えられた場合は，深さをミリメートル単位で表したものとみなされ（Microsoft Kinect で行われているように），そうでない場合は，CV_32F または CV_64F として与えられた場合は，メートル単位で表したものとみなされます）．
K	キャリブレーション行列
points3d	結果として得られる3Dポイント．これらは，以下と同じ深さですdepthCV_32F または CV_64F の場合，深度はKもしdepthの深さは CV_U です．
mask	考慮すべき点のマスク（空でも可）．

depthTo3dSparse()

CV_EXPORTS_W void cv::rgbd::depthTo3dSparse	(	InputArray	depth,
		InputArray	in_K,
		InputArray	in_points,
		OutputArray	points3d
	)

引数

depth	深度画像
in_K
in_points	xy座標のリスト
points3d	結果として得られる3次元点

drawFeatures()

CV_EXPORTS_W void cv::linemod::drawFeatures	(	InputOutputArray	img,
		const std::vector< Template > &	templates,
		const Point2i &	tl,
		int	size = 10
	)

linemod の特徴を描画するデバッグ関数．

引数

img
templates	見るDetector::addTemplate
tl	テンプレートbboxの左上のオフセットはこちらDetector::addTemplate
size	マーカーサイズcv::drawMarker

getDefaultLINE()

CV_EXPORTS_W Ptr< linemod::Detector > cv::linemod::getDefaultLINE

(

)

カラーグラデーションを用いたLINEアルゴリズムを使用した検出器のファクトリ関数。

VGA画像に適したデフォルトのパラメータ設定。

getDefaultLINEMOD()

CV_EXPORTS_W Ptr< linemod::Detector > cv::linemod::getDefaultLINEMOD

(

)

カラーグラデーションと深度法線を持つLINE-MODアルゴリズムを使用する検出器のためのファクトリー関数。

VGA画像に適したデフォルトのパラメータ設定。

isValidDepth()

CV_EXPORTS bool cv::rgbd::isValidDepth ( const float & depth )

inline

値が有効な深度であるかどうかをチェックします。CV_16U または CV_16S の場合，限界値であれば無効とするのが慣例です．float/double の場合は，単に NaN であるかどうかをチェックします．

引数

depth

有効かどうかをチェックする深度

registerDepth()

CV_EXPORTS_W void cv::rgbd::registerDepth	(	InputArray	unregisteredCameraMatrix,
		InputArray	registeredCameraMatrix,
		InputArray	registeredDistCoeffs,
		InputArray	Rt,
		InputArray	unregisteredDepth,
		const Size &	outputImagePlaneSize,
		OutputArray	registeredDepth,
		bool	depthDilation = false
	)

外部カメラへの深度データの登録 登録は，深度クラウドを作成し，そのクラウドをカメラ間の剛体変換で変換し，変換後の点をRGBカメラに投影することで行われます．

uv_rgb = K_rgb * [R | t] * z * inv(K_ir) * uv_ir

現在、負の深度値のチェックは行っていません。

引数

unregisteredCameraMatrix	深度カメラのカメラ行列
registeredCameraMatrix	外部カメラのカメラ行列
registeredDistCoeffs	外部カメラの歪み係数
Rt	カメラ間の剛体変換．深度カメラのフレームから外部カメラのフレームに点を変換します．
unregisteredDepth	入力された深度データ
outputImagePlaneSize	外部カメラの画像平面の寸法（幅，高さ）
registeredDepth	深度データを外部カメラに変換した結果
depthDilation	穴やオクルージョンエラーを避けるために，深度を拡張するかどうか（オプション）

rescaleDepth()

CV_EXPORTS_W void cv::rgbd::rescaleDepth	(	InputArray	in,
		int	depth,
		OutputArray	out,
		double	depth_factor = 1000.0
	)

入力画像が CV_16UC1 型（Kinect のもののように）である場合，画像は float に変換され， depth_factor で割られてメートル単位の深度が得られ，0 の値は std::numeric_limits<float>::quiet_NaN() に変換されます．

引数

in	深度画像（short int CV_U として与えられた場合，ミリ単位の深さであると仮定されます（Microsoft Kinect の場合は，メートル単位であると仮定されます）．
depth	希望する出力深度（float または double）．
out	リスケールされた float 型の深度画像．
depth_factor	(オプション）深度を距離に変換する係数（Kinectセンサーの場合，デフォルトでは1000.0）

warpFrame()

CV_EXPORTS_W void cv::rgbd::warpFrame	(	const Mat &	image,
		const Mat &	depth,
		const Mat &	mask,
		const Mat &	Rt,
		const Mat &	cameraMatrix,
		const Mat &	distCoeff,
		OutputArray	warpedImage,
		OutputArray	warpedDepth = noArray(),
		OutputArray	warpedMask = noArray()
	)

画像のワープ：深度から3次元点を計算し，与えられた変換を用いてそれらを変換した後，カラーポイントクラウドを画像平面に投影します．この関数は，画像処理の結果を可視化するために利用できます．Odometryアルゴリズムを実行します．

引数

image	画像（CV_8UC1 または CV_8UC3 タイプのもの）．
depth	深度（ depthTo3d 関数で利用されるタイプのもの）．
mask	使用されるピクセルのマスク（CV_8UC1のもの），空でもよい．
Rt	深度から計算された3次元点に適用される変換。
cameraMatrix	カメラ行列
distCoeff	歪み係数
warpedImage	歪んだ画像．
warpedDepth	歪んだ深度．
warpedMask	歪んだマスク．