Load Caffe framework models

目次

• はじめに
• ソースコード
• 解説

次のチュートリアル: 効率向上のためにHalideバックエンドを有効にする方法

原著者	Vitaliy Lyudvichenko
互換性	OpenCV >= 3.3

はじめに

このチュートリアルでは、Caffe model zoo の学習済み GoogLeNet ネットワークを用いて、opencv_dnn モジュールで画像分類を行う方法を学ぶ。

この例の結果を次の画像で示す。

ソースコード

サンプルアプリケーションのスニペットを使用する。これはこちらからダウンロードできる。

#include <fstream>
#include <sstream>
#include <iostream>
 
#include <opencv2/dnn.hpp>
#include <opencv2/imgproc.hpp>
#include <opencv2/highgui.hpp>
 
#include "common.hpp"
 
std::string keys =
 "{ help  h          | | Print help message. }"
 "{ @alias           | | An alias name of model to extract preprocessing parameters from models.yml file. }"
 "{ zoo              | models.yml | An optional path to file with preprocessing parameters }"
 "{ input i          | | Path to input image or video file. Skip this argument to capture frames from a camera.}"
 "{ initial_width    | 0 | Preprocess input image by initial resizing to a specific width.}"
 "{ initial_height   | 0 | Preprocess input image by initial resizing to a specific height.}"
 "{ std              | 0.0 0.0 0.0 | Preprocess input image by dividing on a standard deviation.}"
 "{ crop             | false | Preprocess input image by center cropping.}"
 "{ framework f      | | Optional name of an origin framework of the model. Detect it automatically if it does not set. }"
 "{ needSoftmax      | false | Use Softmax to post-process the output of the net.}"
 "{ classes          | | Optional path to a text file with names of classes. }"
 "{ backend          | 0 | Choose one of computation backends: "
 "0: automatically (by default), "
 "1: Halide language (http://halide-lang.org/), "
 "2: Intel's Deep Learning Inference Engine (https://software.intel.com/openvino-toolkit), "
 "3: OpenCV implementation, "
 "4: VKCOM, "
 "5: CUDA, "
 "6: WebNN }"
 "{ target           | 0 | Choose one of target computation devices: "
 "0: CPU target (by default), "
 "1: OpenCL, "
 "2: OpenCL fp16 (half-float precision), "
 "3: VPU, "
 "4: Vulkan, "
 "6: CUDA, "
 "7: CUDA fp16 (half-float preprocess) }";
 
using namespace cv;
using namespace dnn;
 
std::vector<std::string> classes;
 
int main(int argc, char** argv)
{
 CommandLineParser parser(argc, argv, keys);
 
 const std::string modelName = parser.get<String>("@alias");
 const std::string zooFile = parser.get<String>("zoo");
 
    keys += genPreprocArguments(modelName, zooFile);
 
    parser = CommandLineParser(argc, argv, keys);
    parser.about("Use this script to run classification deep learning networks using OpenCV.");
 if (argc == 1 || parser.has("help"))
    {
        parser.printMessage();
 return 0;
    }
 
 int rszWidth = parser.get<int>("initial_width");
 int rszHeight = parser.get<int>("initial_height");
 float scale = parser.get<float>("scale");
 Scalar mean = parser.get<Scalar>("mean");
 Scalar std = parser.get<Scalar>("std");
 bool swapRB = parser.get<bool>("rgb");
 bool crop = parser.get<bool>("crop");
 int inpWidth = parser.get<int>("width");
 int inpHeight = parser.get<int>("height");
 String model = findFile(parser.get<String>("model"));
 String config = findFile(parser.get<String>("config"));
 String framework = parser.get<String>("framework");
 int backendId = parser.get<int>("backend");
 int targetId = parser.get<int>("target");
 bool needSoftmax = parser.get<bool>("needSoftmax");
    std::cout<<"mean: "<<mean<<std::endl;
    std::cout<<"std: "<<std<<std::endl;
 
 // Open file with classes names.
 if (parser.has("classes"))
    {
        std::string file = parser.get<String>("classes");
        std::ifstream ifs(file.c_str());
 if (!ifs.is_open())
 CV_Error(Error::StsError, "File " + file + " not found");
        std::string line;
 while (std::getline(ifs, line))
        {
            classes.push_back(line);
        }
    }
 
 if (!parser.check())
    {
        parser.printErrors();
 return 1;
    }
 CV_Assert(!model.empty());
 
    Net net = readNet(model, config, framework);
    net.setPreferableBackend(backendId);
    net.setPreferableTarget(targetId);
 
 // Create a window
 static const std::string kWinName = "Deep learning image classification in OpenCV";
 namedWindow(kWinName, WINDOW_NORMAL);
 
 VideoCapture cap;
 if (parser.has("input"))
        cap.open(parser.get<String>("input"));
 else
        cap.open(0);
 
 // Process frames.
 Mat frame, blob;
 while (waitKey(1) < 0)
    {
        cap >> frame;
 if (frame.empty())
        {
 waitKey();
 break;
        }
 
 if (rszWidth != 0 && rszHeight != 0)
        {
 resize(frame, frame, Size(rszWidth, rszHeight));
        }
 
 blobFromImage(frame, blob, scale, Size(inpWidth, inpHeight), mean, swapRB, crop);
 
 // Check std values.
 if (std.val[0] != 0.0 && std.val[1] != 0.0 && std.val[2] != 0.0)
        {
 // Divide blob by std.
 divide(blob, std, blob);
        }
 
        net.setInput(blob);
 // double t_sum = 0.0;
 // double t;
 int classId;
 double confidence;
 cv::TickMeter timeRecorder;
        timeRecorder.reset();
 Mat prob = net.forward();
 double t1;
        timeRecorder.start();
        prob = net.forward();
        timeRecorder.stop();
        t1 = timeRecorder.getTimeMilli();
 
        timeRecorder.reset();
 for(int i = 0; i < 200; i++) {
            timeRecorder.start();
            prob = net.forward();
            timeRecorder.stop();
 
 Point classIdPoint;
 minMaxLoc(prob.reshape(1, 1), 0, &confidence, 0, &classIdPoint);
            classId = classIdPoint.x;
 
 // Put efficiency information.
 // std::vector<double> layersTimes;
 // double freq = getTickFrequency() / 1000;
 // t = net.getPerfProfile(layersTimes) / freq;
 // t_sum += t;
        }
 if (needSoftmax == true)
        {
 float maxProb = 0.0;
 float sum = 0.0;
 Mat softmaxProb;
 
            maxProb = *std::max_element(prob.begin<float>(), prob.end<float>());
 cv::exp(prob-maxProb, softmaxProb);
 sum = (float)cv::sum(softmaxProb)[0];
            softmaxProb /= sum;
 Point classIdPoint;
 minMaxLoc(softmaxProb.reshape(1, 1), 0, &confidence, 0, &classIdPoint);
            classId = classIdPoint.x;
        }
        std::string label = format("Inference time of 1 round: %.2f ms", t1);
        std::string label2 = format("Average time of 200 rounds: %.2f ms", timeRecorder.getTimeMilli()/200);
 putText(frame, label, Point(0, 15), FONT_HERSHEY_SIMPLEX, 0.5, Scalar(0, 255, 0));
 putText(frame, label2, Point(0, 35), FONT_HERSHEY_SIMPLEX, 0.5, Scalar(0, 255, 0));
 
 // Print predicted class.
        label = format("%s: %.4f", (classes.empty() ? format("Class #%d", classId).c_str() :
                                                      classes[classId].c_str()),
                                   confidence);
 putText(frame, label, Point(0, 55), FONT_HERSHEY_SIMPLEX, 0.5, Scalar(0, 255, 0));
 
 imshow(kWinName, frame);
    }
 return 0;
}

解説

1. まず、GoogLeNet のモデルファイルをダウンロードする: bvlc_googlenet.prototxt と bvlc_googlenet.caffemodel

   また、ILSVRC2012 クラスの名前が記載されたファイルも必要である: classification_classes_ILSVRC2012.txt。

   これらのファイルをこのプログラム例の作業ディレクトリに置く。

2. .prototxt および .caffemodel ファイルへのパスを使ってネットワークを読み込み、初期化する

       Net net = readNet(model, config, framework);
       net.setPreferableBackend(backendId);
       net.setPreferableTarget(targetId);

   model または config のいずれかのファイルが .caffemodel または .prototxt の拡張子を持つ場合、引数 framework は省略できる。これにより、cv::dnn::readNet 関数はモデルのフォーマットを自動的に検出できる。

3. 入力画像を読み込み、GoogleNet が受け付けられる blob に変換する

    VideoCapture cap;
    if (parser.has("input"))
           cap.open(parser.get<String>("input"));
    else
           cap.open(0);

   cv::VideoCapture は画像と動画の両方を読み込める。

    blobFromImage(frame, blob, scale, Size(inpWidth, inpHeight), mean, swapRB, crop);
    
    // Check std values.
    if (std.val[0] != 0.0 && std.val[1] != 0.0 && std.val[2] != 0.0)
           {
    // Divide blob by std.
    divide(blob, std, blob);
           }

   cv::dnn::blobFromImage 関数を用いて、リサイズや各 blue, green, red チャンネルに対する平均値の減算 (-104, -117, -123) といった必要な前処理を適用した後、画像を 1x3x224x224 の形状を持つ4次元の blob（いわゆるバッチ）に変換する。

4. blob をネットワークに渡す

    net.setInput(blob);

5. フォワードパスを実行する

    // double t_sum = 0.0;
    // double t;
    int classId;
    double confidence;
    cv::TickMeter timeRecorder;
    timeRecorder.reset();
    Mat prob = net.forward();
    double t1;
    timeRecorder.start();
    prob = net.forward();
    timeRecorder.stop();
    t1 = timeRecorder.getTimeMilli();
    
    timeRecorder.reset();
    for(int i = 0; i < 200; i++) {

   フォワードパスの実行中に各ネットワーク層の出力が計算されるが、この例では最後の層の出力だけが必要である。
6. 最良のクラスを判定する

    Point classIdPoint;
    minMaxLoc(prob.reshape(1, 1), 0, &confidence, 0, &classIdPoint);
    classId = classIdPoint.x;

   1000個の ILSVRC2012 画像クラスそれぞれの確率を含むネットワークの出力を prob blob に格納する。そして、この中で最大値を持つ要素のインデックスを求める。このインデックスが画像のクラスに対応する。
7. コマンドラインから例を実行する

   ./example_dnn_classification --model=bvlc_googlenet.caffemodel --config=bvlc_googlenet.prototxt --width=224 --height=224 --classes=classification_classes_ILSVRC2012.txt --input=space_shuttle.jpg --mean="104 117 123"

   今回の画像では、99%以上の確信度でクラス space shuttle の予測が得られる。