ホーム › AI.MachineLearning.DirectML › DML_BATCH_NORMALIZATION_GRAD_OPERATOR_DESC
DML_BATCH_NORMALIZATION_GRAD_OPERATOR_DESC
構造体サイズ=各フィールドのバイト数(x64/x86 で異なる場合は x64/x86 と併記)。x64/x86 列=フィールドのバイトオフセット(HSPで dupptr / lpoke / wpoke 等に使用)。
フィールド
| フィールド | 型 | サイズ | x64 | x86 | 説明 |
|---|---|---|---|---|---|
| InputTensor | DML_TENSOR_DESC* | 8/4 | +0 | +0 | 入力データを格納するテンソルです。これは通常、順伝播で DML_BATCH_NORMALIZATION_OPERATOR_DESC の InputTensor として指定したものと同じテンソルです。 |
| InputGradientTensor | DML_TENSOR_DESC* | 8/4 | +8 | +4 | 入力される勾配テンソルです。これは通常、前の層の逆伝播の出力から得られます。 |
| MeanTensor | DML_TENSOR_DESC* | 8/4 | +16 | +8 | 平均のデータを格納するテンソルです。これは通常、順伝播で DML_BATCH_NORMALIZATION_OPERATOR_DESC の MeanTensor として指定したものと同じテンソルです。 |
| VarianceTensor | DML_TENSOR_DESC* | 8/4 | +24 | +12 | 分散のデータを格納するテンソルです。これは通常、順伝播で DML_OPERATOR_BATCH_NORMALIZATION の VarianceTensor として指定したものと同じテンソルです。 |
| ScaleTensor | DML_TENSOR_DESC* | 8/4 | +32 | +16 | スケールのデータを格納するテンソルです。これは通常、順伝播で DML_BATCH_NORMALIZATION_OPERATOR_DESC の ScaleTensor として指定したものと同じテンソルです。 |
| OutputGradientTensor | DML_TENSOR_DESC* | 8/4 | +40 | +20 | 入力内の対応する値ごとに、
OutputGradient = InputGradient * (Scale / sqrt(Variance + Epsilon)) となります。 |
| OutputScaleGradientTensor | DML_TENSOR_DESC* | 8/4 | +48 | +24 | 入力内の対応する値ごとに、次の計算が行われます。
|
| OutputBiasGradientTensor | DML_TENSOR_DESC* | 8/4 | +56 | +28 | 入力内の対応する値ごとに、次の計算が行われます。
|
| Epsilon | FLOAT | 4 | +64 | +32 | 0 になることを避けるために分散に加算される小さな値です。 |
公式ドキュメント
バッチ正規化の逆伝播勾配を計算します。DML_BATCH_NORMALIZATION_GRAD_OPERATOR_DESC は複数の計算を実行し、その詳細はそれぞれの出力の説明に記載されています。
OutputScaleGradientTensor と OutputBiasGradientTensor は、MeanTensor、ScaleTensor、VarianceTensor のサイズが 1 である次元の集合にわたる総和を使用して計算されます。
出典・ライセンス: 上記「公式ドキュメント」の内容は Microsoft の Win32 API ドキュメント(MicrosoftDocs/sdk-api)を日本語に翻訳・改変したものです。© Microsoft Corporation. CC BY 4.0 で提供。
Microsoft 公式リファレンス: 英語 (en-us) · 日本語 (ja-jp) · 原文ソース (GitHub)
Microsoft 公式リファレンス: 英語 (en-us) · 日本語 (ja-jp) · 原文ソース (GitHub)
各言語での定義
#include <windows.h>
// DML_BATCH_NORMALIZATION_GRAD_OPERATOR_DESC (x64 72 / x86 36 バイト)
typedef struct DML_BATCH_NORMALIZATION_GRAD_OPERATOR_DESC {
DML_TENSOR_DESC* InputTensor;
DML_TENSOR_DESC* InputGradientTensor;
DML_TENSOR_DESC* MeanTensor;
DML_TENSOR_DESC* VarianceTensor;
DML_TENSOR_DESC* ScaleTensor;
DML_TENSOR_DESC* OutputGradientTensor;
DML_TENSOR_DESC* OutputScaleGradientTensor;
DML_TENSOR_DESC* OutputBiasGradientTensor;
FLOAT Epsilon;
} DML_BATCH_NORMALIZATION_GRAD_OPERATOR_DESC;using System;
using System.Runtime.InteropServices;
[StructLayout(LayoutKind.Sequential, CharSet = CharSet.Unicode)]
public struct DML_BATCH_NORMALIZATION_GRAD_OPERATOR_DESC
{
public IntPtr InputTensor;
public IntPtr InputGradientTensor;
public IntPtr MeanTensor;
public IntPtr VarianceTensor;
public IntPtr ScaleTensor;
public IntPtr OutputGradientTensor;
public IntPtr OutputScaleGradientTensor;
public IntPtr OutputBiasGradientTensor;
public float Epsilon;
}Imports System.Runtime.InteropServices
<StructLayout(LayoutKind.Sequential, CharSet:=CharSet.Unicode)>
Public Structure DML_BATCH_NORMALIZATION_GRAD_OPERATOR_DESC
Public InputTensor As IntPtr
Public InputGradientTensor As IntPtr
Public MeanTensor As IntPtr
Public VarianceTensor As IntPtr
Public ScaleTensor As IntPtr
Public OutputGradientTensor As IntPtr
Public OutputScaleGradientTensor As IntPtr
Public OutputBiasGradientTensor As IntPtr
Public Epsilon As Single
End Structureimport ctypes
from ctypes import wintypes
class DML_BATCH_NORMALIZATION_GRAD_OPERATOR_DESC(ctypes.Structure):
_fields_ = [
("InputTensor", ctypes.c_void_p),
("InputGradientTensor", ctypes.c_void_p),
("MeanTensor", ctypes.c_void_p),
("VarianceTensor", ctypes.c_void_p),
("ScaleTensor", ctypes.c_void_p),
("OutputGradientTensor", ctypes.c_void_p),
("OutputScaleGradientTensor", ctypes.c_void_p),
("OutputBiasGradientTensor", ctypes.c_void_p),
("Epsilon", ctypes.c_float),
]#[repr(C)]
pub struct DML_BATCH_NORMALIZATION_GRAD_OPERATOR_DESC {
pub InputTensor: *mut core::ffi::c_void,
pub InputGradientTensor: *mut core::ffi::c_void,
pub MeanTensor: *mut core::ffi::c_void,
pub VarianceTensor: *mut core::ffi::c_void,
pub ScaleTensor: *mut core::ffi::c_void,
pub OutputGradientTensor: *mut core::ffi::c_void,
pub OutputScaleGradientTensor: *mut core::ffi::c_void,
pub OutputBiasGradientTensor: *mut core::ffi::c_void,
pub Epsilon: f32,
}import "golang.org/x/sys/windows"
type DML_BATCH_NORMALIZATION_GRAD_OPERATOR_DESC struct {
InputTensor uintptr
InputGradientTensor uintptr
MeanTensor uintptr
VarianceTensor uintptr
ScaleTensor uintptr
OutputGradientTensor uintptr
OutputScaleGradientTensor uintptr
OutputBiasGradientTensor uintptr
Epsilon float32
}type
DML_BATCH_NORMALIZATION_GRAD_OPERATOR_DESC = record
InputTensor: Pointer;
InputGradientTensor: Pointer;
MeanTensor: Pointer;
VarianceTensor: Pointer;
ScaleTensor: Pointer;
OutputGradientTensor: Pointer;
OutputScaleGradientTensor: Pointer;
OutputBiasGradientTensor: Pointer;
Epsilon: Single;
end;const DML_BATCH_NORMALIZATION_GRAD_OPERATOR_DESC = extern struct {
InputTensor: ?*anyopaque,
InputGradientTensor: ?*anyopaque,
MeanTensor: ?*anyopaque,
VarianceTensor: ?*anyopaque,
ScaleTensor: ?*anyopaque,
OutputGradientTensor: ?*anyopaque,
OutputScaleGradientTensor: ?*anyopaque,
OutputBiasGradientTensor: ?*anyopaque,
Epsilon: f32,
};type
DML_BATCH_NORMALIZATION_GRAD_OPERATOR_DESC {.bycopy.} = object
InputTensor: pointer
InputGradientTensor: pointer
MeanTensor: pointer
VarianceTensor: pointer
ScaleTensor: pointer
OutputGradientTensor: pointer
OutputScaleGradientTensor: pointer
OutputBiasGradientTensor: pointer
Epsilon: float32struct DML_BATCH_NORMALIZATION_GRAD_OPERATOR_DESC
{
void* InputTensor;
void* InputGradientTensor;
void* MeanTensor;
void* VarianceTensor;
void* ScaleTensor;
void* OutputGradientTensor;
void* OutputScaleGradientTensor;
void* OutputBiasGradientTensor;
float Epsilon;
}HSP用 定義
HSP3.7/3.8 は構造体機能が無いため4byte整数配列(dim)+peek/poke で操作(32/64bitでサイズ・位置が異なる場合はタブで分割)。IronHSP は NSTRUCT(#defstruct/stdim/->)で32/64bit共通。
; HSP3.7/3.8 は構造体機能が無いため、4byte整数の配列変数で操作します。(x86 レイアウト)
; DML_BATCH_NORMALIZATION_GRAD_OPERATOR_DESC サイズ: 36 バイト(x86)
dim st, 9 ; 4byte整数×9(構造体サイズ 36 / 4 切り上げ)
; InputTensor : DML_TENSOR_DESC* (+0, 4byte) varptr(st)+0 を基点に操作(4byte:入れ子/配列)
; InputGradientTensor : DML_TENSOR_DESC* (+4, 4byte) varptr(st)+4 を基点に操作(4byte:入れ子/配列)
; MeanTensor : DML_TENSOR_DESC* (+8, 4byte) varptr(st)+8 を基点に操作(4byte:入れ子/配列)
; VarianceTensor : DML_TENSOR_DESC* (+12, 4byte) varptr(st)+12 を基点に操作(4byte:入れ子/配列)
; ScaleTensor : DML_TENSOR_DESC* (+16, 4byte) varptr(st)+16 を基点に操作(4byte:入れ子/配列)
; OutputGradientTensor : DML_TENSOR_DESC* (+20, 4byte) varptr(st)+20 を基点に操作(4byte:入れ子/配列)
; OutputScaleGradientTensor : DML_TENSOR_DESC* (+24, 4byte) varptr(st)+24 を基点に操作(4byte:入れ子/配列)
; OutputBiasGradientTensor : DML_TENSOR_DESC* (+28, 4byte) varptr(st)+28 を基点に操作(4byte:入れ子/配列)
; Epsilon : FLOAT (+32, 4byte) st.8 = 値 / 値 = st.8 (lpoke/lpeek も可)
; ※4byte境界の整数は添字 st.N(N=オフセット/4)で読み書き可。それ以外は peek/poke 系を使用。; HSP3.7/3.8 は構造体機能が無いため、4byte整数の配列変数で操作します。(x64 レイアウト)
; DML_BATCH_NORMALIZATION_GRAD_OPERATOR_DESC サイズ: 72 バイト(x64)
dim st, 18 ; 4byte整数×18(構造体サイズ 72 / 4 切り上げ)
; InputTensor : DML_TENSOR_DESC* (+0, 8byte) varptr(st)+0 を基点に操作(8byte:入れ子/配列)
; InputGradientTensor : DML_TENSOR_DESC* (+8, 8byte) varptr(st)+8 を基点に操作(8byte:入れ子/配列)
; MeanTensor : DML_TENSOR_DESC* (+16, 8byte) varptr(st)+16 を基点に操作(8byte:入れ子/配列)
; VarianceTensor : DML_TENSOR_DESC* (+24, 8byte) varptr(st)+24 を基点に操作(8byte:入れ子/配列)
; ScaleTensor : DML_TENSOR_DESC* (+32, 8byte) varptr(st)+32 を基点に操作(8byte:入れ子/配列)
; OutputGradientTensor : DML_TENSOR_DESC* (+40, 8byte) varptr(st)+40 を基点に操作(8byte:入れ子/配列)
; OutputScaleGradientTensor : DML_TENSOR_DESC* (+48, 8byte) varptr(st)+48 を基点に操作(8byte:入れ子/配列)
; OutputBiasGradientTensor : DML_TENSOR_DESC* (+56, 8byte) varptr(st)+56 を基点に操作(8byte:入れ子/配列)
; Epsilon : FLOAT (+64, 4byte) st.16 = 値 / 値 = st.16 (lpoke/lpeek も可)
; ※4byte境界の整数は添字 st.N(N=オフセット/4)で読み書き可。それ以外は peek/poke 系を使用。; IronHSP は NSTRUCT(構造体)をサポート。32bit/64bit どちらでも同じコードで動作します。
#defstruct global DML_BATCH_NORMALIZATION_GRAD_OPERATOR_DESC
#field intptr InputTensor
#field intptr InputGradientTensor
#field intptr MeanTensor
#field intptr VarianceTensor
#field intptr ScaleTensor
#field intptr OutputGradientTensor
#field intptr OutputScaleGradientTensor
#field intptr OutputBiasGradientTensor
#field float Epsilon
#endstruct
stdim st, DML_BATCH_NORMALIZATION_GRAD_OPERATOR_DESC ; NSTRUCT 変数を確保
st->Epsilon = 100
mes "Epsilon=" + st->Epsilon