ホーム › AI.MachineLearning.DirectML › DML_BATCH_NORMALIZATION_TRAINING_GRAD_OPERATOR_DESC
DML_BATCH_NORMALIZATION_TRAINING_GRAD_OPERATOR_DESC
構造体サイズ=各フィールドのバイト数(x64/x86 で異なる場合は x64/x86 と併記)。x64/x86 列=フィールドのバイトオフセット(HSPで dupptr / lpoke / wpoke 等に使用)。
フィールド
| フィールド | 型 | サイズ | x64 | x86 | 説明 |
|---|---|---|---|---|---|
| InputTensor | DML_TENSOR_DESC* | 8/4 | +0 | +0 | 入力データを格納するテンソルです。通常は、順伝播において DML_BATCH_NORMALIZATION_TRAINING_OPERATOR_DESC の InputTensor として指定したものと同じテンソルです。 |
| InputGradientTensor | DML_TENSOR_DESC* | 8/4 | +8 | +4 | 入力される勾配テンソルです。通常は、前の層の逆伝播の出力から得られます。 |
| MeanTensor | DML_TENSOR_DESC* | 8/4 | +16 | +8 | 平均のデータを格納するテンソルです。通常は、順伝播において DML_BATCH_NORMALIZATION_TRAINING_OPERATOR_DESC の MeanTensor として返されたものと同じテンソルです。 |
| VarianceTensor | DML_TENSOR_DESC* | 8/4 | +24 | +12 | 分散のデータを格納するテンソルです。通常は、順伝播において DML_BATCH_NORMALIZATION_TRAINING_OPERATOR_DESC の OutputVarianceTensor として返されたものと同じテンソルです。 |
| ScaleTensor | DML_TENSOR_DESC* | 8/4 | +32 | +16 | スケールのデータを格納するテンソルです。 |
| OutputGradientTensor | DML_TENSOR_DESC* | 8/4 | +40 | +20 | 入力の対応するすべての値に対して、次の計算が行われます。 |
| OutputScaleGradientTensor | DML_TENSOR_DESC* | 8/4 | +48 | +24 | 入力の対応するすべての値に対して、次の計算が行われます。OutputScaleGradient = sum(InputGradient * (Input - Mean) / sqrt(Variance + Epsilon)) |
| OutputBiasGradientTensor | DML_TENSOR_DESC* | 8/4 | +56 | +28 | 入力の対応するすべての値に対して、次の計算が行われます。OutputBiasGradient = sum(InputGradient) |
| Epsilon | FLOAT | 4 | +64 | +32 | 0 になるのを避けるために分散に加算される小さな float 値です。 |
公式ドキュメント
バッチ正規化のトレーニングにおける逆伝播の勾配を計算します。
この演算子は複数の計算を実行します。その詳細は、個々の出力の説明で述べられています。
MeanTensor、VarianceTensor、ScaleTensor の任意の次元は 1 に設定でき、その場合は InputTensor に合わせて自動的にブロードキャストされます。それ以外の場合は、InputTensor の対応する次元のサイズと等しくなければなりません。
OutputScaleGradientTensor と OutputBiasGradientTensor は、MeanTensor、ScaleTensor、VarianceTensor のサイズが 1 である次元の集合にわたる合計を使用して計算されます。
出典・ライセンス: 上記「公式ドキュメント」の内容は Microsoft の Win32 API ドキュメント(MicrosoftDocs/sdk-api)を日本語に翻訳・改変したものです。© Microsoft Corporation. CC BY 4.0 で提供。
Microsoft 公式リファレンス: 英語 (en-us) · 日本語 (ja-jp) · 原文ソース (GitHub)
Microsoft 公式リファレンス: 英語 (en-us) · 日本語 (ja-jp) · 原文ソース (GitHub)
各言語での定義
#include <windows.h>
// DML_BATCH_NORMALIZATION_TRAINING_GRAD_OPERATOR_DESC (x64 72 / x86 36 バイト)
typedef struct DML_BATCH_NORMALIZATION_TRAINING_GRAD_OPERATOR_DESC {
DML_TENSOR_DESC* InputTensor;
DML_TENSOR_DESC* InputGradientTensor;
DML_TENSOR_DESC* MeanTensor;
DML_TENSOR_DESC* VarianceTensor;
DML_TENSOR_DESC* ScaleTensor;
DML_TENSOR_DESC* OutputGradientTensor;
DML_TENSOR_DESC* OutputScaleGradientTensor;
DML_TENSOR_DESC* OutputBiasGradientTensor;
FLOAT Epsilon;
} DML_BATCH_NORMALIZATION_TRAINING_GRAD_OPERATOR_DESC;using System;
using System.Runtime.InteropServices;
[StructLayout(LayoutKind.Sequential, CharSet = CharSet.Unicode)]
public struct DML_BATCH_NORMALIZATION_TRAINING_GRAD_OPERATOR_DESC
{
public IntPtr InputTensor;
public IntPtr InputGradientTensor;
public IntPtr MeanTensor;
public IntPtr VarianceTensor;
public IntPtr ScaleTensor;
public IntPtr OutputGradientTensor;
public IntPtr OutputScaleGradientTensor;
public IntPtr OutputBiasGradientTensor;
public float Epsilon;
}Imports System.Runtime.InteropServices
<StructLayout(LayoutKind.Sequential, CharSet:=CharSet.Unicode)>
Public Structure DML_BATCH_NORMALIZATION_TRAINING_GRAD_OPERATOR_DESC
Public InputTensor As IntPtr
Public InputGradientTensor As IntPtr
Public MeanTensor As IntPtr
Public VarianceTensor As IntPtr
Public ScaleTensor As IntPtr
Public OutputGradientTensor As IntPtr
Public OutputScaleGradientTensor As IntPtr
Public OutputBiasGradientTensor As IntPtr
Public Epsilon As Single
End Structureimport ctypes
from ctypes import wintypes
class DML_BATCH_NORMALIZATION_TRAINING_GRAD_OPERATOR_DESC(ctypes.Structure):
_fields_ = [
("InputTensor", ctypes.c_void_p),
("InputGradientTensor", ctypes.c_void_p),
("MeanTensor", ctypes.c_void_p),
("VarianceTensor", ctypes.c_void_p),
("ScaleTensor", ctypes.c_void_p),
("OutputGradientTensor", ctypes.c_void_p),
("OutputScaleGradientTensor", ctypes.c_void_p),
("OutputBiasGradientTensor", ctypes.c_void_p),
("Epsilon", ctypes.c_float),
]#[repr(C)]
pub struct DML_BATCH_NORMALIZATION_TRAINING_GRAD_OPERATOR_DESC {
pub InputTensor: *mut core::ffi::c_void,
pub InputGradientTensor: *mut core::ffi::c_void,
pub MeanTensor: *mut core::ffi::c_void,
pub VarianceTensor: *mut core::ffi::c_void,
pub ScaleTensor: *mut core::ffi::c_void,
pub OutputGradientTensor: *mut core::ffi::c_void,
pub OutputScaleGradientTensor: *mut core::ffi::c_void,
pub OutputBiasGradientTensor: *mut core::ffi::c_void,
pub Epsilon: f32,
}import "golang.org/x/sys/windows"
type DML_BATCH_NORMALIZATION_TRAINING_GRAD_OPERATOR_DESC struct {
InputTensor uintptr
InputGradientTensor uintptr
MeanTensor uintptr
VarianceTensor uintptr
ScaleTensor uintptr
OutputGradientTensor uintptr
OutputScaleGradientTensor uintptr
OutputBiasGradientTensor uintptr
Epsilon float32
}type
DML_BATCH_NORMALIZATION_TRAINING_GRAD_OPERATOR_DESC = record
InputTensor: Pointer;
InputGradientTensor: Pointer;
MeanTensor: Pointer;
VarianceTensor: Pointer;
ScaleTensor: Pointer;
OutputGradientTensor: Pointer;
OutputScaleGradientTensor: Pointer;
OutputBiasGradientTensor: Pointer;
Epsilon: Single;
end;const DML_BATCH_NORMALIZATION_TRAINING_GRAD_OPERATOR_DESC = extern struct {
InputTensor: ?*anyopaque,
InputGradientTensor: ?*anyopaque,
MeanTensor: ?*anyopaque,
VarianceTensor: ?*anyopaque,
ScaleTensor: ?*anyopaque,
OutputGradientTensor: ?*anyopaque,
OutputScaleGradientTensor: ?*anyopaque,
OutputBiasGradientTensor: ?*anyopaque,
Epsilon: f32,
};type
DML_BATCH_NORMALIZATION_TRAINING_GRAD_OPERATOR_DESC {.bycopy.} = object
InputTensor: pointer
InputGradientTensor: pointer
MeanTensor: pointer
VarianceTensor: pointer
ScaleTensor: pointer
OutputGradientTensor: pointer
OutputScaleGradientTensor: pointer
OutputBiasGradientTensor: pointer
Epsilon: float32struct DML_BATCH_NORMALIZATION_TRAINING_GRAD_OPERATOR_DESC
{
void* InputTensor;
void* InputGradientTensor;
void* MeanTensor;
void* VarianceTensor;
void* ScaleTensor;
void* OutputGradientTensor;
void* OutputScaleGradientTensor;
void* OutputBiasGradientTensor;
float Epsilon;
}HSP用 定義
HSP3.7/3.8 は構造体機能が無いため4byte整数配列(dim)+peek/poke で操作(32/64bitでサイズ・位置が異なる場合はタブで分割)。IronHSP は NSTRUCT(#defstruct/stdim/->)で32/64bit共通。
; HSP3.7/3.8 は構造体機能が無いため、4byte整数の配列変数で操作します。(x86 レイアウト)
; DML_BATCH_NORMALIZATION_TRAINING_GRAD_OPERATOR_DESC サイズ: 36 バイト(x86)
dim st, 9 ; 4byte整数×9(構造体サイズ 36 / 4 切り上げ)
; InputTensor : DML_TENSOR_DESC* (+0, 4byte) varptr(st)+0 を基点に操作(4byte:入れ子/配列)
; InputGradientTensor : DML_TENSOR_DESC* (+4, 4byte) varptr(st)+4 を基点に操作(4byte:入れ子/配列)
; MeanTensor : DML_TENSOR_DESC* (+8, 4byte) varptr(st)+8 を基点に操作(4byte:入れ子/配列)
; VarianceTensor : DML_TENSOR_DESC* (+12, 4byte) varptr(st)+12 を基点に操作(4byte:入れ子/配列)
; ScaleTensor : DML_TENSOR_DESC* (+16, 4byte) varptr(st)+16 を基点に操作(4byte:入れ子/配列)
; OutputGradientTensor : DML_TENSOR_DESC* (+20, 4byte) varptr(st)+20 を基点に操作(4byte:入れ子/配列)
; OutputScaleGradientTensor : DML_TENSOR_DESC* (+24, 4byte) varptr(st)+24 を基点に操作(4byte:入れ子/配列)
; OutputBiasGradientTensor : DML_TENSOR_DESC* (+28, 4byte) varptr(st)+28 を基点に操作(4byte:入れ子/配列)
; Epsilon : FLOAT (+32, 4byte) st.8 = 値 / 値 = st.8 (lpoke/lpeek も可)
; ※4byte境界の整数は添字 st.N(N=オフセット/4)で読み書き可。それ以外は peek/poke 系を使用。; HSP3.7/3.8 は構造体機能が無いため、4byte整数の配列変数で操作します。(x64 レイアウト)
; DML_BATCH_NORMALIZATION_TRAINING_GRAD_OPERATOR_DESC サイズ: 72 バイト(x64)
dim st, 18 ; 4byte整数×18(構造体サイズ 72 / 4 切り上げ)
; InputTensor : DML_TENSOR_DESC* (+0, 8byte) varptr(st)+0 を基点に操作(8byte:入れ子/配列)
; InputGradientTensor : DML_TENSOR_DESC* (+8, 8byte) varptr(st)+8 を基点に操作(8byte:入れ子/配列)
; MeanTensor : DML_TENSOR_DESC* (+16, 8byte) varptr(st)+16 を基点に操作(8byte:入れ子/配列)
; VarianceTensor : DML_TENSOR_DESC* (+24, 8byte) varptr(st)+24 を基点に操作(8byte:入れ子/配列)
; ScaleTensor : DML_TENSOR_DESC* (+32, 8byte) varptr(st)+32 を基点に操作(8byte:入れ子/配列)
; OutputGradientTensor : DML_TENSOR_DESC* (+40, 8byte) varptr(st)+40 を基点に操作(8byte:入れ子/配列)
; OutputScaleGradientTensor : DML_TENSOR_DESC* (+48, 8byte) varptr(st)+48 を基点に操作(8byte:入れ子/配列)
; OutputBiasGradientTensor : DML_TENSOR_DESC* (+56, 8byte) varptr(st)+56 を基点に操作(8byte:入れ子/配列)
; Epsilon : FLOAT (+64, 4byte) st.16 = 値 / 値 = st.16 (lpoke/lpeek も可)
; ※4byte境界の整数は添字 st.N(N=オフセット/4)で読み書き可。それ以外は peek/poke 系を使用。; IronHSP は NSTRUCT(構造体)をサポート。32bit/64bit どちらでも同じコードで動作します。
#defstruct global DML_BATCH_NORMALIZATION_TRAINING_GRAD_OPERATOR_DESC
#field intptr InputTensor
#field intptr InputGradientTensor
#field intptr MeanTensor
#field intptr VarianceTensor
#field intptr ScaleTensor
#field intptr OutputGradientTensor
#field intptr OutputScaleGradientTensor
#field intptr OutputBiasGradientTensor
#field float Epsilon
#endstruct
stdim st, DML_BATCH_NORMALIZATION_TRAINING_GRAD_OPERATOR_DESC ; NSTRUCT 変数を確保
st->Epsilon = 100
mes "Epsilon=" + st->Epsilon