自学内容网 自学内容网

GraphGeo参文19:Auto-Encoding Variational Bayes

https://arxiv.org/abs/1312.6114

[19] Diederik P Kingma and Max Welling. 2014. Auto-encoding variational bayes. In ICLR.
【前言】:VAE模型是Kingma(也是Adam的作者)大神在2014年发表的文章,是一篇非常非常经典,且实现非常优雅的生成模型,同时它还为bayes概率图模型难以求解的问题提供了一种有效的思路。论文原名为Auto-Encoding Variational Bayes,是一种通用的利用auto-encoding方法结合variational lower bound求解bayes图模型隐变量的方法论。而VAE(Variational Auto-Encoding)是在该方法论下的一个具体示例。

一、背景知识

1、Auto-Encoder

Auto encoder是一种无监督算法,主要用于特征提取或数据降维。其思想非常简单,即输入特征 x 经过encoder后抽象为hidden layer z,再将z经过decoder过程重新预测为\tilde{x}。其中encoder和decoder的过程可以是MLP/CNN/LSTM等简单的神经网络。

Auto encoder的目的是提取抽象特征z,其学习过程为最小化损失函数 L(x,\tilde{x}) ,用于惩罚\tilde{x}和x之间的差异,假设使用平方损失,则有:

其中 i 代表第i个样本。x_{i} 可以包含n个特征,即x_{i}\in R^{n} 。

2、Why VAE?

很多时候,当我们数据处理时,会遇到数据量不足的情况,这时我们会考虑使用生成模型生成数据。VAE即在AE的基础上引入变分的思想,使其能够进行数据生成。VAE建模着重考虑 \tilde{x}=g(z) 过程的有效性,其中z为隐变量特征的分布。

    AE过程                                                                           VAE过程

上文提到,AE的主要作用为特征提取或数据降维,即寻找合适的抽象特征z,可以使其代表x,如上图左侧,当我们微调z时,无法生成有效的月亮图片;而右侧的VAE过程,此时z为抽象特征的分布,当微调时,可以得到有效的月亮图片。

二、


原文地址:https://blog.csdn.net/sinat_41942180/article/details/136244170

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!