デ，タの読み込み

http://yann.lecun.com/exdb/mnist/から学習用とテスト用のMNISTファイルをダウンロードし,この例にサポートファイルとして添付されている関数processImagesMNISTを使用して▪▪メ▪▪ジを抽出します。この関数にアクセスするには，この例をラ。Vaeはラベル付けされたデ，タを必要としません。

trainImagesFile =“train-images-idx3-ubyte.gz”；testImagesFile =“t10k-images-idx3-ubyte.gz”；XTrain = processImagesMNIST(trainImagesFile);

读取MNIST图像数据…数据集中的图像数量:60000…

XTest = processImagesMNIST(testImagesFile);

读取MNIST图像数据…数据集中的图像数量:10000…

ネットワ，クア，キテクチャの定義

自己符号化器には，符号化器と復号化器の2の部分があります。符号化器は,イメージ入力を受け取り,畳み込みなどの一連のダウンサンプリング演算を使用して潜在ベクトル表現を出力(符号化)します。同様に,復号化器は潜在ベクトル表現を入力として受け取り,転置畳み込みなどの一連のアップサンプリング演算を使用して入力を再構成します。

入力をサンプリングするために，この例ではカスタム層samplingLayerを使用します。この層にアクセスするには，この例をラ。層は，対数分散ベクトル $$\text{日志}（{\sigma }^2）$$と連結された平均ベクトル $$\mu$$を入力として受け取り， $$N（{\mu }_{我}，{\sigma }_{我}^2）$$から要素をサンプリングします。層は対数分散を使用して，学習プロセスをより数値的に安定させます。

符号化器ネットワ，クア，キテクチャの定義

28××28日1のイメージを16行1列の潜在ベクトルにダウンサンプリングする次の符号化器ネットワークを定義します。

numLatentChannels = 16;imageSize = [28 28 1];layersE = [imageInputLayer(imageSize，归一化=“没有”32岁的)convolution2dLayer(3填充=“相同”，Stride=2) relullayer卷积2dlayer(3,64，填充=“相同”，Stride=2) reluLayer fullyConnectedLayer(2*numLatentChannels) samplingLayer];

復号化器ネットワ，クア，キテクチャの定義

16行1列の潜在ベクトルから28××28日1のイメージを再構成する次の復号化器ネットワークを定義します。

projectionSize = [7 7 64];numInputChannels = size(imageSize,1);layersD = [featureInputLayer(numLatentChannels) projectAndReshapeLayer(projectionSize)转置conv2dlayer(3,64，裁剪=“相同”，Stride=2) reluLayer转置conv2dlayer(3,32，裁剪=“相同”，Stride=2) reluLayer转置conv2dlayer (3,numInputChannels，裁剪=“相同”) sigmoidLayer);

カスタム学習ル，プを使用して両方のネットワ，クに学習させ，自動微分を有効にするために，層配列をdlnetworkオブジェクトに変換します。

netE = dlnetwork(layersE);netD = dlnetwork(layersD);

モデル損失関数の定義

モデルの損失と，学習可能パラメタにいての損失の勾配を返す関数を定義します。

例においてモデル損失関数の節で定義されている関数modelLossは,符号化器ネットワークと復号化器ネットワーク,および入力データのミニバッチを入力として受け取り,ネットワーク内の学習可能パラメーターの損失と損失の勾配を返します。損失を計算するために，この関数は，例においてElbo損失関数の節で定義されている関数ELBOlossを使用し,符号化器によって出力された平均と対数分散を入力として受け取り,それらを使用して証拠下限(ELBO)損失を計算します。

学習オプションの指定

ミニバッチサesc escズを128，学習率を0.001として，30エポック学習させます。

numEpochs = 30;miniBatchSize = 128;learnRate = 1e-3;

モデルの学習

カスタム学習ル，プを使用してモデルに学習させます。

学習中に▪▪メ▪▪ジのミニバッチを処理および管理するminibatchqueueオブジェクトを作成します。各ミニバッチで次を行います。

dsTrain = arrayDatastore(XTrain,IterationDimension=4);numOutputs = 1;mbq = minibatchqueue(dsTrain,numOutputs，.．.MiniBatchSize = MiniBatchSize，.．.MiniBatchFcn = @preprocessMiniBatch,.．.MiniBatchFormat =“SSCB”，.．.PartialMiniBatch =“丢弃”）;

亚当ソルバ，のパラメ，タ，を初期化します。

trailingAvgE = [];trailingAvgSqE = [];trailingAvgD = [];trailingAvgSqD = [];

学習の進行状況モニタ，用に合計反復回数を計算します。

numObservationsTrain = size(XTrain,4);numIterationsPerEpoch = ceil(numObservationsTrain / miniBatchSize);numIterations = nummepochs * numIterationsPerEpoch;

学習の進行状況モニタ，を初期化します。监控オブジェクトを作成するとタイマーが開始されるため,学習ループに近いところでオブジェクトを作成するようにしてください。

monitor = trainingProgressMonitor(.．.指标=“损失”，.．.信息=“时代”，.．.包含=“迭代”）;

カスタム学習ル，プを使用してネットワ，クに学習させます。各エポックにいて，デタをシャッフルしてデタのミニバッチをルプで回します。各ミニバッチで次を行います。

Epoch = 0;迭代= 0;%遍历epoch。而epoch < numEpochs && ~monitor。停止epoch = epoch + 1;% Shuffle数据。洗牌(兆贝可);在小批上循环。而Hasdata (mbq) && ~monitor。停止迭代=迭代+ 1;读取小批数据。X = next(mbq);评估损失和梯度。[loss,gradientsE,gradientsD] = dlfeval(@modelLoss,netE,netD,X);更新可学习参数。[netE,trailingAvgE,trailingAvgSqE] = adamupdate(netE, trailingAvgSqE).．.gradientsE、trailingAvgE trailingAvgSqE,迭代,learnRate);[netD, trailingAvgD, trailingAvgSqD] = adamupdate(netD，.．.gradientsD、trailingAvgD trailingAvgSqD,迭代,learnRate);更新培训进度监视器。recordMetrics(监控、迭代损失=损失);updateInfo(监视、时代=时代+“的”+ numEpochs);班长。进度= 100*iteration/numIterations;结束结束

ネットワ，クのテスト

学習済みの自己符号化器を，ホ，ルドアウトされたテストセットでテストします。学習デ，タの場合と同じ手順を使用して，デ，タのミニバッチキュ，を作成します。ただし，デ，タの部分的なミニバッチは破棄しません。

dsTest = arrayDatastore(XTest,IterationDimension=4);numOutputs = 1;mbqTest = minibatchqueue(dsTest,numOutputs，.．.MiniBatchSize = MiniBatchSize，.．.MiniBatchFcn = @preprocessMiniBatch,.．.MiniBatchFormat =“SSCB”）;

関数modelPredictionsを使用し，学習済みの自己符号化器を使用して予測を行います。

YTest = modelforecasts (netE,netD,mbqTest);

テストイメージと再構成後のイメージの平均二乗誤差を取得し,それらをヒストグラムで可視化することで,再構成誤差を可視化します。

err = mean((XTest-YTest)。^2，[1 2 3]);图直方图(err) xlabel(“错误”) ylabel (“频率”)标题(“测试数据”）

新しい▪▪メ▪▪ジの生成

ランダムにサンプリングされたメジ符号化を復号化器に渡して，新しいメジのバッチを生成します。

numImages = 64;ZNew = randn(numLatentChannels,numImages);ZNew = dlarray(ZNew，“CB”）;YNew = predict(netD,ZNew);YNew = extractdata(YNew);

生成された▪▪メ▪▪ジを图に表示します。

图I = imtile(YNew);imshow (I)标题(“生成的图像”）

ここでは，学習デ，タと同様の，メ，ジを生成できるように，vaeに強い特徴表現を学習させました。

補助関数

モデル損失関数

関数modelLossは,符号化器ネットワークと復号化器ネットワーク,および入力データのミニバッチを入力として受け取り,ネットワーク内の学習可能パラメーターの損失と損失の勾配を返します。この関数は，学習メジを符号化器に渡し，結果のメジ符号化を復号化器に渡します。損失を計算するために,この関数は,符号化器のサンプリング層によって出力された平均および対数分散統計を使って関数elboLossを使用します。

函数[loss,gradientsE,gradientsD] = modelLoss(netE,netD,X)%通过编码器转发。[Z,mu,logSigmaSq] = forward(netE,X);%通过解码器转发。Y = forward(netD,Z);计算损失和梯度。loss = elboLoss(Y,X,mu,logSigmaSq);[gradientsE,gradientsD] = dlgradient(loss,net . learnables,net . learnables);结束

Elbo損失関数

関数ELBOlossは,符号化器によって出力された平均と対数分散を受け取り,それらを使用して証拠下限(ELBO)損失を計算します。Elbo損失は，2の個別の損失項の和によって与えられます。

$$\mathrm{ELBO}\mathrm{损失}＝\mathrm{重建}\mathrm{损失}+\mathrm{吉隆坡}\mathrm{损失}$$．

“再構成損失“は復号化器の出力が元の入力にどれだけ近いかを,平均二乗誤差(MSE)を使用して測定します。

$\mathrm{重建}\mathrm{损失}＝\mathrm{均方误差}（\mathrm{重建}\mathrm{图像}，\mathrm{输入}\mathrm{图像}）$．

＂吉隆坡;この場合,KL損失の最小化によって,学習した平均と分散がターゲット(正規)分布にできる限り近づくようにします。サereplicationズ $\mathit{K}$の潜在次元にいて，kl損失は次のように取得されます。

$\mathrm{吉隆坡}\mathrm{损失}＝-0．5\cdot \underset{\mathit{我}＝1}{\overset{\mathit{K}}{\sum }}（1+\mathrm{日志}（{\sigma }_{\mathit{我}}^2）-{\mu }_{\mathit{我}}^2-{\sigma }_{\mathit{我}}^2）$．

KL損失項を含めることで,再構成の損失により学習したクラスターを潜在空間の中心の周りに密集させて,サンプリング元となる連続空間を構成するという実用的な効果が得られます。

函数损失= elboLoss(Y,T,mu,logSigmaSq)%重建损失。reconstructionLoss = mse(Y,T);% KL散度。KL = -0.5 * sum(1 + logSigmaSq - mu。^2 - exp(logSigmaSq)，1);KL = mean(KL);%综合损失。损失=重建损失+ KL;结束

モデル予測関数

関数modelPredictionsは，符号化器と復号化器のネットワ，クオブジェクト，および入力デ，タのminibatchqueueオブジェクト兆贝可を入力として受け取り，minibatchqueueオブジェクトのすべてのデ，タを反復処理することでモデル予測を計算します。

函数Y = modelforecasts (netE,netD,mbq) Y = [];在小批上循环。而hasdata(mbq) X = next(mbq);%通过编码器转发。Z = predict(netE,X);%通过解码器转发。XGenerated = predict(netD,Z);提取并连接预测。Y = cat(4,Y,extractdata(XGenerated));结束结束

ミニバッチ前処理関数

関数preprocessMiniBatchは，4番目の次元に沿って入力を連結することで，予測子のミニバッチを前処理します。

函数X = preprocessMiniBatch(dataX)%连接。X = cat(4,dataX{:});结束

参考文献