はじめに

OpenCV Graph API（G-API）は、通常の画像処理を高速かつ移植性の高いものにすることを目的とした新しいOpenCVモジュールである。この2つの目標は、グラフベースの新しい実行モデルを導入することで達成される。

G-APIはOpenCVの特殊なモジュールである。他の主要モジュールの大半とは対照的に、これは特定のCVアルゴリズムというよりもフレームワークとして機能する。G-APIはCV処理を定義し、それを用いて（式の形で）グラフを構築し、最終的に特定のバックエンド向けに処理を実装・実行する手段を提供する。

覚え書き: G-APIは新しいモジュールであり、現在も活発に開発が進められている。現時点ではAPIは流動的で、将来的に互換性を損なう小規模な変更が加えられる可能性がある。

なぜGraph APIなのか?

G-APIの背景にある動機とその目標。
高レベル設計の概要

G-APIアーキテクチャと主要な内部コンポーネントの全体的な概要。
Kernel API

G-APIに新しい処理を導入し、各種バックエンド向けに実装する方法を学ぶ。
実装の詳細

貢献したい人のための、G-APIの低レベルな実装の詳細。
API Reference: functions and classes
- G-APIフレームワーク
  
  G-APIの中核となるクラス、データ型、バックエンドなど。
- G-APIコア機能
  
  G-APIの中核となる処理 - 算術演算、論理演算、その他の行列演算;
- G-API 画像処理機能
  
  画像処理関数: 色空間変換、各種フィルタなど。
- G-API ビデオ処理機能
  
  動画処理機能。
- G-APIの描画および合成機能
  
  描画および合成機能

APIの例

G-APIパイプラインの非常に基本的な例を以下に示す:

#include <opencv2/videoio.hpp>
#include <opencv2/highgui.hpp>
#include <opencv2/gapi.hpp>
#include <opencv2/gapi/core.hpp>
#include <opencv2/gapi/imgproc.hpp>
 
int main(int argc, char *argv[])
{
 cv::VideoCapture cap;
 if (argc > 1) cap.open(argv[1]);
 else cap.open(0);
 CV_Assert(cap.isOpened());
 
 cv::GMat in;
 cv::GMat vga      = cv::gapi::resize(in, cv::Size(), 0.5, 0.5);
 cv::GMat gray     = cv::gapi::BGR2Gray(vga);
 cv::GMat blurred  = cv::gapi::blur(gray, cv::Size(5,5));
 cv::GMat edges    = cv::gapi::Canny(blurred, 32, 128, 3);
 cv::GMat b,g,r;
    std::tie(b,g,r)   = cv::gapi::split3(vga);
 cv::GMat out      = cv::gapi::merge3(b, g | edges, r);
 cv::GComputation ac(in, out);
 
 cv::Mat input_frame;
 cv::Mat output_frame;
 CV_Assert(cap.read(input_frame));
 do
    {
        ac.apply(input_frame, output_frame);
 cv::imshow("output", output_frame);
    } while (cap.read(input_frame) && cv::waitKey(30) < 0);
 
 return 0;
}

G-APIは独立したOpenCVモジュールであるため、そのヘッダファイルは明示的にインクルードする必要がある。main() の最初の4行は、OpenCVの標準的なビデオキャプチャオブジェクトを生成・初期化する。これは接続されたカメラまたは指定されたファイルから動画フレームを取得する。

次にG-APIパイプラインが構築される。実際には、これは cv::GMat データに対する一連のG-API処理呼び出しである。G-APIの重要な点は、このコードブロックが単なる処理の宣言であり、処理そのものではないということである。この時点では何の処理も行われず、G-APIはどの処理がパイプラインを構成し、それらがどのように接続されているかを追跡するだけである。G-APIのデータオブジェクト（ここでは cv::GMat）は、処理同士を接続するために使われる。in は計算の起点であることを示す空の cv::GMat である。

G-APIコードが記述された後、それは cv::GComputation オブジェクトのインスタンス化とともに呼び出しグラフに取り込まれる。このオブジェクトは入出力データの参照（この例ではそれぞれ in と out の cv::GMat オブジェクト）を引数として受け取り、in と out の間のすべてのデータフローに基づいて呼び出しグラフを再構築する。

cv::GComputation は、どの演算で計算が構成されるかをキャプチャするだけの軽量なオブジェクトである。しかし、計算の実行にも利用できる。次の処理ループでは、キャプチャした各フレーム（cv::Mat input_frame）がcv::GComputation::apply()に渡される。

Example pipeline running on sample video 'vtest.avi'

cv::GComputation::apply() は可変個の引数を受け取る多態的なメソッドである。この計算は1入力・1出力で定義されているため、入力データを渡して出力データを得るための特別なオーバーロードである cv::GComputation::apply() が使われる。

内部的には、cv::GComputation::apply() は、与えられた入力引数に対してキャプチャされたグラフをコンパイルし、コンパイルされたグラフをただちにデータ上で実行する。

この例からは、いくつかの重要な概念を読み取ることができる:

グラフの宣言とグラフの実行は別個のステップである;
グラフは一連のG-API式から暗黙的に構築される;
G-APIは関数的な呼び出しをサポートする – 例えば cv::gapi::resize() や、ビット単位のORを計算するために使われる operator|() などの演算子;
G-APIの構文は純粋に見えることを目指している。グラフ内のすべての処理呼び出しは新しい結果を生み出し、こうして有向非巡回グラフ（DAG）を形成する;
グラフの宣言はいかなるデータにも束縛されない。実際のデータオブジェクト（cv::Mat）が登場するのは、グラフが既に宣言された後である。

各種のG-API機能や概念についてさらに学ぶには、チュートリアルおよび移植例を参照のこと。

はじめに

目次

APIの例