Orbbec 3Dカメラの利用 (UVC)

目次

• • はじめに
  • 手順
• Code
  • Code Explanation
    • Python
    • C++
  • Results
    • Python
    • C++
  • 注記

前のチュートリアル: Orbbec Astra 3D カメラの使用
次のチュートリアル: Creative Senz3D およびその他の Intel RealSense SDK 互換深度センサーの使用

原著者	Jinyue Chen
互換性	OpenCV >= 4.10

はじめに

このチュートリアルは、UVCプロトコルに基づく Orbbec の3Dカメラを対象とする。OpenNI に依存する旧型の Orbbec 3Dカメラの使用については、前のチュートリアルを参照のこと。

OpenNI2 SDK 付きでビルドした OpenCV を必要とする OpenNI ベースの Astra 3D カメラの利用とは異なり、OpenCV 経由で Orbbec UVC 3D カメラにアクセスするのに Orbbec SDK のインストールは不要である。cv::VideoCapture クラスを使うことで、USB カメラを扱うのと同様に、3D カメラからストリームデータを取得できる。深度マップとカラー画像のキャリブレーションおよびアライメントは内部で行われる。

手順

3D カメラを OpenCV で使用するには、OpenCV をインストールするための Get Started を参照するとよい。

4.11 以降、Mac OS ユーザーがこれらのカメラを使用するには、フラグ -DOBSENSOR_USE_ORBBEC_SDK=ON を付けてソースから OpenCV をコンパイルする必要があることに注意:

cmake -DOBSENSOR_USE_ORBBEC_SDK=ON ..
make
sudo make install

デフォルトでは、-DOBSENSOR_USE_ORBBEC_SDK=ON が有効な場合、OrbbecSDK v2 が使用される（すなわち ORBBEC_SDK_VERSION のデフォルトは 2）。これは Orbbec Gemini 330 シリーズ全体をサポートする。

Orbbec Femto、Gemini2XL、Astra+ などのレガシーカメラが必要な場合は、フラグ -DORBBEC_SDK_VERSION=1 で OrbbecSDK v1 に切り替える:

cmake -DOBSENSOR_USE_ORBBEC_SDK=ON -DORBBEC_SDK_VERSION=1 ..
make -j
sudo make install

コード

Python

このチュートリアルのコードを以下に示す。こちらからダウンロードすることもできる。

#!/usr/bin/env python
 
import numpy as np
import sys
import cv2 as cv
 
 
def main():
 # Open Orbbec depth sensor
    orbbec_cap = cv.VideoCapture(0, cv.CAP_OBSENSOR)
 if orbbec_cap.isOpened() == False:
        sys.exit("Fail to open camera.")
 
 while True:
 # Grab data from the camera
 if orbbec_cap.grab():
 # RGB data
            ret_bgr, bgr_image = orbbec_cap.retrieve(None, cv.CAP_OBSENSOR_BGR_IMAGE)
 if ret_bgr:
 cv.imshow("BGR", bgr_image)
 
 # depth data
            ret_depth, depth_map = orbbec_cap.retrieve(None, cv.CAP_OBSENSOR_DEPTH_MAP)
 if ret_depth:
                color_depth_map = cv.normalize(depth_map, None, 0, 255, cv.NORM_MINMAX, cv.CV_8UC1)
                color_depth_map = cv.applyColorMap(color_depth_map, cv.COLORMAP_JET)
 cv.imshow("DEPTH", color_depth_map)
 else:
            print("Fail to grab data from the camera.")
 
 if cv.pollKey() >= 0:
 break
 
    orbbec_cap.release()
 
 
if __name__ == '__main__':
 main()

C++

このチュートリアルのコードを以下に示す。こちらからダウンロードすることもできる。

 
#include <opencv2/videoio.hpp>
#include <opencv2/highgui.hpp>
#include <opencv2/imgproc.hpp>
#include <iostream>
 
using namespace cv;
int main(int argc, char** argv)
{
 cv::CommandLineParser parser(argc, argv,
 "{help h ? |  | help message}"
 "{dw |  | depth width }"
 "{dh |  | depth height }"
 "{df |  | depth fps }"
 "{cw |  | color width }"
 "{ch |  | color height }"
 "{cf |  | depth fps }"
 
    );
 if (parser.has("help"))
    {
        parser.printMessage();
 return 0;
    }
 
    std::vector<int> params;
 if (parser.has("dw"))
    {
        params.push_back(CAP_PROP_OBSENSOR_DEPTH_WIDTH);
        params.push_back(parser.get<int>("dw"));
    }
 
 if (parser.has("dh"))
    {
        params.push_back(CAP_PROP_OBSENSOR_DEPTH_HEIGHT);
        params.push_back(parser.get<int>("dh"));
    }
 
 if (parser.has("df"))
    {
        params.push_back(CAP_PROP_OBSENSOR_DEPTH_FPS);
        params.push_back(parser.get<int>("df"));
    }
 
 if (parser.has("cw"))
    {
 params.push_back(CAP_PROP_FRAME_WIDTH);
 params.push_back(parser.get<int>("cw"));
    }
 
 if (parser.has("ch"))
    {
 params.push_back(CAP_PROP_FRAME_HEIGHT);
 params.push_back(parser.get<int>("ch"));
    }
 
 if (parser.has("cf"))
    {
 params.push_back(CAP_PROP_FPS);
 params.push_back(parser.get<int>("cf"));
    }
 
 VideoCapture obsensorCapture;
 
 if (params.empty())
        obsensorCapture.open(0, CAP_OBSENSOR);
 else
        obsensorCapture.open(0, CAP_OBSENSOR, params);
 if(!obsensorCapture.isOpened()) {
        std::cerr << "Failed to open obsensor capture! Index out of range or no response from device";
 return -1;
    }
 
 double fx = obsensorCapture.get(CAP_PROP_OBSENSOR_INTRINSIC_FX);
 double fy = obsensorCapture.get(CAP_PROP_OBSENSOR_INTRINSIC_FY);
 double cx = obsensorCapture.get(CAP_PROP_OBSENSOR_INTRINSIC_CX);
 double cy = obsensorCapture.get(CAP_PROP_OBSENSOR_INTRINSIC_CY);
 
 double k1 = obsensorCapture.get(CAP_PROP_OBSENSOR_COLOR_DISTORTION_K1);
 double k2 = obsensorCapture.get(CAP_PROP_OBSENSOR_COLOR_DISTORTION_K2);
 double k3 = obsensorCapture.get(CAP_PROP_OBSENSOR_COLOR_DISTORTION_K3);
 double k4 = obsensorCapture.get(CAP_PROP_OBSENSOR_COLOR_DISTORTION_K4);
 double k5 = obsensorCapture.get(CAP_PROP_OBSENSOR_COLOR_DISTORTION_K5);
 double k6 = obsensorCapture.get(CAP_PROP_OBSENSOR_COLOR_DISTORTION_K6);
 double p1 = obsensorCapture.get(CAP_PROP_OBSENSOR_COLOR_DISTORTION_P1);
 double p2 = obsensorCapture.get(CAP_PROP_OBSENSOR_COLOR_DISTORTION_P1);
 
    std::cout << "obsensor camera intrinsic params: fx=" << fx << ", fy=" << fy << ", cx=" << cx << ", cy=" << cy << std::endl;
    std::cout << "obsensor camera distortion params: k,p=" << k1 << ", " << k2 << ", " << k3 << ", "
                                                           << k4 << ", " << k5 << ", " << k6 << ", "
                                                           << p1 << ", " << p2 << std::endl;
 
 Mat image;
 Mat depthMap;
 Mat adjDepthMap;
 
 // Minimum depth value
 const double minVal = 300;
 // Maximum depth value
 const double maxVal = 5000;
 while (true)
    {
 // Grab depth map like this:
 // obsensorCapture >> depthMap;
 
 // Another way to grab depth map (and bgr image).
 if (obsensorCapture.grab())
        {
 if (obsensorCapture.retrieve(image, CAP_OBSENSOR_BGR_IMAGE))
            {
 imshow("RGB", image);
            }
 
 if (obsensorCapture.retrieve(depthMap, CAP_OBSENSOR_DEPTH_MAP))
            {
                depthMap.convertTo(adjDepthMap, CV_8U, 255.0 / (maxVal - minVal), -minVal * 255.0 / (maxVal - minVal));
 applyColorMap(adjDepthMap, adjDepthMap, COLORMAP_JET);
 imshow("DEPTH", adjDepthMap);
            }
 
 // depth map overlay on bgr image
 static const float alpha = 0.6f;
 if (!image.empty() && !depthMap.empty())
            {
                depthMap.convertTo(adjDepthMap, CV_8U, 255.0 / (maxVal - minVal), -minVal * 255.0 / (maxVal - minVal));
 cv::resize(adjDepthMap, adjDepthMap, cv::Size(image.cols, image.rows));
 for (int i = 0; i < image.rows; i++)
                {
 for (int j = 0; j < image.cols; j++)
                    {
 cv::Vec3b& outRgb = image.at<cv::Vec3b>(i, j);
                        uint8_t depthValue = 255 - adjDepthMap.at<uint8_t>(i, j);
 if (depthValue != 0 && depthValue != 255)
                        {
                            outRgb[0] = (uint8_t)(outRgb[0] * (1.0f - alpha) + depthValue * alpha);
                            outRgb[1] = (uint8_t)(outRgb[1] * (1.0f - alpha) + depthValue *  alpha);
                            outRgb[2] = (uint8_t)(outRgb[2] * (1.0f - alpha) + depthValue *  alpha);
                        }
                    }
                }
 imshow("DepthToColor", image);
            }
            image.release();
            depthMap.release();
        }
 
 if (pollKey() >= 0)
 break;
    }
 return 0;
}

コードの解説

Python

• Orbbec深度センサーを開く: cv.VideoCapture(0, cv.CAP_OBSENSOR) を使って最初のOrbbec深度センサーデバイスを開こうとする。カメラのオープンに失敗した場合、プログラムは終了し、エラーメッセージを表示する。
• データの取得と処理のループ: 無限ループの中で、コードはカメラから継続的にデータを取得する。orbbec_cap.grab() メソッドはフレームの取得を試みる。
• BGR画像の処理: orbbec_cap.retrieve(None, cv.CAP_OBSENSOR_BGR_IMAGE) を使ってBGR画像データを取得する。取得に成功すると、cv.imshow("BGR", bgr_image) を使ってBGR画像をウィンドウに表示する。
• 深度画像の処理: orbbec_cap.retrieve(None, cv.CAP_OBSENSOR_DEPTH_MAP) を使って深度画像データを取得する。取得に成功すると、まず深度画像を0から255の範囲に正規化し、次に疑似カラー画像を適用して、その結果を cv.imshow("DEPTH", color_depth_map) を使ってウィンドウに表示する。
• キーボード割り込み: cv.pollKey() を使ってキーボードイベントを検出する。キーが押されると、ループを抜けてプログラムが終了する。
• リソースの解放: ループを抜けた後、orbbec_cap.release() を使ってカメラリソースを解放する。

C++

• Orbbec深度センサーを開く: VideoCapture obsensorCapture(0, CAP_OBSENSOR) を使って最初のOrbbec深度センサーデバイスを開こうとする。カメラのオープンに失敗した場合、エラーメッセージが表示され、プログラムは終了する。
• カメラ内部パラメータの取得: obsensorCapture.get() を使って、焦点距離 (fx, fy) や主点 (cx, cy) を含むカメラの内部パラメータを取得する。
• データの取得と処理のループ: 無限ループの中で、コードはカメラから継続的にデータを取得する。obsensorCapture.grab() メソッドはフレームの取得を試みる。
• BGR画像の処理: obsensorCapture.retrieve(image, CAP_OBSENSOR_BGR_IMAGE) を使ってBGR画像データを取得する。取得に成功すると、imshow("BGR", image) を使ってBGR画像をウィンドウに表示する。
• 深度画像の処理: obsensorCapture.retrieve(depthMap, CAP_OBSENSOR_DEPTH_MAP) を使って深度画像データを取得する。取得に成功すると、深度画像を正規化して疑似カラー画像を適用し、その結果を imshow("DEPTH", adjDepthMap) を使ってウィンドウに表示する。取得される深度値はミリメートル単位であり、300から5000(ミリメートル)の範囲に切り詰められる。この固定範囲は、深度カメラの深度レンジに基づく切り詰めとして解釈でき、深度マップ上の無効なピクセルを除去する。
• 深度マップをBGR画像に重ね合わせる: 深度マップを8ビット画像に変換し、BGR画像のサイズに合わせてリサイズして、指定した透明度 (alpha) でBGR画像に重ね合わせる。重ね合わせた画像は imshow("DepthToColor", image) を使ってウィンドウに表示する。
• キーボード割り込み: pollKey() を使ってキーボードイベントを検出する。キーが押されると、ループを抜けてプログラムが終了する。
• リソースの解放: ループを抜けた後、カメラリソースを解放する。

結果

Python

BGR And DEPTH frame

C++

BGR And DEPTH And DepthToColor frame

注記

• Macユーザはコードを実行するために sudo 権限が必要である。
• ファームウェア: Orbbec UVC 3Dカメラを使用している場合、互換性の問題を避けるため、カメラのファームウェアを最新バージョンに更新しておくこと。詳細については Orbbecのリリースノート を参照すること。