Ascend NPUによる画像処理

目的

このガイドでは、すでに使用されているAscend演算子のスレッド安全性についての知見が得られるほか、画像の前処理にAscend演算子を効果的に活用する方法や、その使用上の制限について理解できる。

はじめに

OpenCV内で Ascend NPU をサポートする一連の一般的な行列演算オペレータを提供している。ユーザの利便性のため、新しい 'AscendMat' 構造体とそれに関連する演算子は、OpenCVの 'Mat' インタフェースとの互換性を保っている。これらの演算子は、算術演算、画像処理演算、画像の色空間変換など、頻繁に使用される機能を幅広く網羅している。これらの演算子はすべて CANN(Compute Architecture of Neural Networks) を利用して実装されている。Ascend演算子はCANNを利用することでNPU上での演算の高速化を実現する。この高速化の効果は、2048x2048、3840x2160、7680x4320 などの大きな寸法の画像を扱う際に特に顕著である。

スレッドセーフティに関する注意

ストリーム機能はCANN演算子を呼び出すことで実装されている。同一のストリーム内ではタスクは順次実行され、異なるストリーム間ではタスクは並列に実行される。ストリーム間のタスクの同期はイベント機構によって保証される。詳細は Stream Management のドキュメントを参照すること。

画像前処理の例

この節では、以下の関数を含め、Ascend演算子を使った画像の前処理の方法を学ぶ:

• 加算
• 回転
• 反転

コード

C++

// This file is part of OpenCV project.
// It is subject to the license terms in the LICENSE file found in the top-level directory
// of this distribution and at http://opencv.org/license.html.
 
#include <iostream>
#include <opencv2/imgcodecs.hpp>
#include <opencv2/cann.hpp>
#include <opencv2/cann_interface.hpp>
 
int main(int argc, char* argv[])
{
 cv::CommandLineParser parser(argc, argv,
 "{@input|puppy.png|path to input image}"
 "{@output|output.png|path to output image}"
 "{help||show help}");
    parser.about("This is a sample for image processing with Ascend NPU. \n");
 if (argc != 3 || parser.has("help"))
    {
        parser.printMessage();
 return 0;
    }
 
    std::string imagePath = parser.get<std::string>(0);
    std::string outputPath = parser.get<std::string>(1);
 
 // read input image and generate guass noise
 cv::Mat img = cv::imread(imagePath);
 // Generate gauss noise that will be added into the input image
 cv::Mat gaussNoise(img.rows, img.cols, img.type());
 cv::RNG rng;
    rng.fill(gaussNoise, cv::RNG::NORMAL, 0, 25);
 
 // setup cann
 cv::cann::initAcl();
 cv::cann::setDevice(0);
 
 cv::Mat output;
 // add gauss noise to the image
 cv::cann::add(img, gaussNoise, output);
 // rotate the image with a certain mode (0, 1 and 2, correspond to rotation of 90, 180 and 270
 // degrees clockwise respectively)
 cv::cann::rotate(output, output, 0);
 // flip the image with a certain mode (0, positive and negative number, correspond to flipping
 // around the x-axis, y-axis and both axes respectively)
 cv::cann::flip(output, output, 0);
 
 cv::imwrite(outputPath, output);
 
 cv::cann::resetDevice();
 cv::cann::finalizeAcl();
 return 0;
}

Python

# This file is part of OpenCV project.
# It is subject to the license terms in the LICENSE file found in the top-level directory
# of this distribution and at http://opencv.org/license.html.
 
import numpy as np
import cv2
import argparse
 
parser = argparse.ArgumentParser(description='This is a sample for image processing with Ascend NPU.')
parser.add_argument('image', help='path to input image')
parser.add_argument('output', help='path to output image')
args = parser.parse_args()
 
# read input image and generate guass noise
#! [input_noise]
img = cv2.imread(args.image)
# Generate gauss noise that will be added into the input image
gaussNoise = np.random.normal(0, 25,(img.shape[0], img.shape[1], img.shape[2])).astype(img.dtype)
#! [input_noise]
 
# setup cann
#! [setup]
cv2.cann.initAcl()
cv2.cann.setDevice(0)
#! [setup]
 
#! [image-process]
# add gauss noise to the image
output = cv2.cann.add(img, gaussNoise)
# rotate the image with a certain mode (0, 1 and 2, correspond to rotation of 90, 180
# and 270 degrees clockwise respectively)
output = cv2.cann.rotate(output, 0)
# flip the image with a certain mode (0, positive and negative number, correspond to flipping
# around the x-axis, y-axis and both axes respectively)
output = cv2.cann.flip(output, 0)
#! [image-process]
 
cv2.imwrite(args.output, output)
 
#! [tear-down-cann]
cv2.cann.finalizeAcl()
#! [tear-down-cann]

解説

入力画像

C++

 cv::Mat img = cv::imread(imagePath);
 // Generate gauss noise that will be added into the input image
 cv::Mat gaussNoise(img.rows, img.cols, img.type());
 cv::RNG rng;
    rng.fill(gaussNoise, cv::RNG::NORMAL, 0, 25);

Python

# Read the input image
img = cv2.imread("/path/to/img")
# Generate gauss noise that will be added into the input image
gaussNoise = np.random.normal(mean=0,sigma=25,(img.shape[0],img.shape[1],img.shape[2])).astype(img.dtype)

CANNのセットアップ

C++

 cv::cann::initAcl();
 cv::cann::setDevice(0);

Python

cv2.cann.initAcl()
cv2.cann.setDevice(0)

画像前処理の例

C++

 cv::Mat output;
 // add gauss noise to the image
 cv::cann::add(img, gaussNoise, output);
 // rotate the image with a certain mode (0, 1 and 2, correspond to rotation of 90, 180 and 270
 // degrees clockwise respectively)
 cv::cann::rotate(output, output, 0);
 // flip the image with a certain mode (0, positive and negative number, correspond to flipping
 // around the x-axis, y-axis and both axes respectively)
 cv::cann::flip(output, output, 0);

Python

# add gauss noise to the image
output = cv2.cann.add(img, gaussNoise)
# rotate the image with a certain mode (0, 1 and 2, correspond to rotation of 90, 180
# and 270 degrees clockwise respectively)
output = cv2.cann.rotate(output, 0)
# flip the image with a certain mode (0, positive and negative number, correspond to flipping
# around the x-axis, y-axis and both axes respectively)
output = cv2.cann.flip(output, 0)

CANNの後始末

C++

 cv::cann::resetDevice();
 cv::cann::finalizeAcl();

Python

cv2.cann.finalizeAcl()

結果

1. 寸法 (480, 640, 3) の元のRGB入力画像:

puppy

1. ガウシアンノイズを加えると、次の結果が得られる:

puppy_noisy

1. 回転コード 0(時計回りに90度)で回転操作を適用すると、次の結果が得られる:

puppy_noisy_rotate

1. 反転コード 0(x軸まわりの反転)で反転操作を適用すると、最終的な結果が得られる:

puppy_processed_normalized