1.1 判别模型 vs 生成模型#

判别模型（Discriminative）

• 建模条件概率 $P(y|x)$

• 直接学习决策边界

• 目标：对输入进行分类或回归

• 代表：Logistic Regression, SVM, CNN 分类器

生成模型（Generative）

• 建模联合概率 $P(x)$ 或 $P(x, z)$

• 学习数据的完整分布

• 目标：能够生成新的逼真样本

• 代表：VAE, GAN, Flow Models

1.2 生成模型分类体系#

| 类别 | 方法 | 核心思想 | 代表模型 | | ------------ | ---------- | ------------------------------- | ------------------- | --------------------------- | | 显式-可解析 | 自回归分解 | $P(x) = \prod\_{i} P(x_i | x*1, ..., x*{i-1})$ | PixelRNN, PixelCNN, WaveNet | | 显式-近似 | 变分推断 | 引入隐变量，最大化证据下界 ELBO | VAE, NVIL | | 隐式密度 | 对抗训练 | 生成器与判别器博弈 | GAN, WGAN, DCGAN |

2.1 自编码器回顾#

传统自编码器（Autoencoder）通过编码器将输入压缩为低维表示 $z = f_\theta(x)$，再通过解码器重建 $\hat{x} = g_\phi(z)$。训练目标是最小化重建误差：

$\mathcal{L}_{AE} = \|x - g_\phi(f_\theta(x))\|^2$

传统自编码器的问题

• 隐空间缺乏结构：不同样本的编码可能不连续、不规整

• 无法从隐空间随机采样生成有意义的新样本

• 没有概率解释，不是真正的生成模型

2.2 VAE 的核心思想#

VAE 的关键创新：不再将输入编码为确定性的点，而是编码为一个概率分布。编码器输出隐变量的均值 $\mu$ 和方差 $\sigma^2$，从该分布中采样得到 $z$。

2.3 数学框架#

2.4 重参数化技巧（Reparameterization Trick）#

问题：训练中需要对 ELBO 求梯度，但采样操作 $z \sim q_\phi(z|x)$ 是随机的，梯度无法通过随机采样节点反向传播。

解决方案：将随机性从计算图中分离出来：

$z = \mu + \sigma \odot \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)$

不可微路径

$z \sim \mathcal{N}(\mu, \sigma^2)$

梯度被随机采样阻断

重参数化路径

$z = \mu + \sigma \odot \epsilon$

梯度可通过 $\mu$ 和 $\sigma$ 正常流动

2.5 VAE 训练目标#

最终的训练损失为负 ELBO：

$\mathcal{L}_{VAE}(\theta, \phi; x) = -\mathbb{E}_{q_\phi(z|x)}[\log p_\theta(x|z)] + D_{KL}(q_\phi(z|x) \| p(z))$

实际训练中使用蒙特卡洛估计重建项（通常单次采样即可）：

$\mathcal{L} \approx -\log p_\theta(x | z^{(l)}) + D_{KL}(q_\phi(z|x) \| p(z)), \quad z^{(l)} = \mu + \sigma \odot \epsilon^{(l)}$

| 组件 | 具体形式 | 作用 | | ------------------- | ------------------- | -------------------------------- | ---------------- | | 编码器 $q\_\phi(z | x)$ | 输出 $\mu, \log\sigma^2$ | 近似后验推断 | | 解码器 $p\_\theta(x | z)$ | Bernoulli（二值图像）或 Gaussian | 由隐变量重建数据 | | 先验 $p(z)$ | $\mathcal{N}(0, I)$ | 正则化隐空间 | | 重建损失 | 交叉熵或 MSE | 保证重建质量 | | KL 损失 | 解析公式 | 保证隐空间连续可采样 |

3.1 基本思想#

GAN 的核心思想来源于博弈论：训练两个相互对抗的网络。

生成器 G（Generator）

• 输入：随机噪声 $z \sim p_z(z)$（通常为高斯或均匀分布）

• 输出：伪造样本 $G(z)$

• 目标：生成尽可能逼真的样本，欺骗判别器

判别器 D（Discriminator）

• 输入：真实样本 x 或生成样本 G(z)

• 输出：样本为真实的概率 $D(x) \in [0, 1]$

• 目标：准确区分真实样本和伪造样本

3.2 目标函数（Minimax Game）#

GAN 目标函数

$\min_G \max_D V(D, G) = \mathbb{E}_{x \sim p_{data}(x)}[\log D(x)] + \mathbb{E}_{z \sim p_z(z)}[\log(1 - D(G(z)))]$

• 判别器 D 试图最大化$V(D,G)$：正确分类真假样本

• 生成器 G 试图最小化$V(D,G)$：让 $D(G(z))$ 尽可能大

3.3 最优判别器#

固定 G，对 $V(D, G)$ 关于 D 求最优解：

$D^*(x) = \frac{p_{data}(x)}{p_{data}(x) + p_g(x)}$

推导：对于任意 x，$V$ 关于 $D(x)$ 的被积函数为 $f(D) = p_{data}(x)\log D + p_g(x)\log(1-D)$，对 D 求导令其为零：

$\frac{p_{data}(x)}{D} - \frac{p_g(x)}{1-D} = 0 \implies D^*(x) = \frac{p_{data}(x)}{p_{data}(x) + p_g(x)}$

3.4 全局最优与 JS 散度#

将 $D^*$ 代入 $V(D^*, G)$：

$V(D^*, G) = \mathbb{E}_{x \sim p_{data}}\left[\log \frac{p_{data}(x)}{p_{data}(x) + p_g(x)}\right] + \mathbb{E}_{x \sim p_g}\left[\log \frac{p_g(x)}{p_{data}(x) + p_g(x)}\right]$

$= -\log 4 + 2 \cdot D_{JS}(p_{data} \| p_g)$

关键结论：在最优判别器下，最小化生成器的目标等价于最小化 $p_{data}$ 与 $p_g$ 之间的 Jensen-Shannon 散度。当且仅当 $p_g = p_{data}$ 时，$V(D^*, G)$ 达到全局最小值 $-\log 4$。

3.5 训练算法#

GAN 的训练采用交替优化：

1. 从真实数据采样 mini-batch $\{x^{(1)}, ..., x^{(m)}\}$

2. 从噪声分布采样 $\{z^{(1)}, ..., z^{(m)}\}$

3. 更新判别器（梯度上升）：$\nabla_{\theta_d} \frac{1}{m} \sum_{i=1}^{m} \left[\log D(x^{(i)}) + \log(1 - D(G(z^{(i)})))\right]$

4. 重新采样噪声 $\{z^{(1)}, ..., z^{(m)}\}$

5. 更新生成器（梯度下降）：$\nabla_{\theta_g} \frac{1}{m} \sum_{i=1}^{m} \log(1 - D(G(z^{(i)})))$

实践技巧：在训练初期，$G$ 很弱，$D(G(z)) \approx 0$，此时 $\log(1-D(G(z)))$ 的梯度饱和（接近于 0）。实践中**最大化 **$\log D(G(z))$ 代替最小化 $\log(1-D(G(z)))$，能提供更强的梯度信号。

3.6 GAN 的主要问题#

4.1 DCGAN（Deep Convolutional GAN）#

DCGAN 将卷积网络引入 GAN 框架，是第一个成功稳定训练 GAN 的卷积架构。

DCGAN 架构指南

• 用步幅卷积（strided convolution）替代池化层

• G 和 D 中均使用 Batch Normalization

• 去除全连接层（最后一层除外）

• 生成器使用 ReLU 激活（最后一层 Tanh）

• 判别器使用 LeakyReLU 激活

生成器结构：噪声向量 $z \in \mathbb{R}^{100}$ 经过多层转置卷积（反卷积）逐步上采样为图像：

$z \xrightarrow{\text{Reshape}} 4\times4\times1024 \xrightarrow{\text{DeConv}} 8\times8\times512 \xrightarrow{\text{DeConv}} 16\times16\times256 \xrightarrow{\text{DeConv}} 32\times32\times128 \xrightarrow{\text{DeConv}} 64\times64\times3$

4.2 WGAN（Wasserstein GAN）#

4.3 CGAN（Conditional GAN）#

通过引入条件信息 $y$（如类别标签），控制生成内容：

$\min_G \max_D V(D, G) = \mathbb{E}_{x \sim p_{data}}[\log D(x|y)] + \mathbb{E}_{z \sim p_z}[\log(1 - D(G(z|y)|y))]$

• 生成器：$G(z, y)$，将噪声 z 和条件 y 拼接后生成

• 判别器：$D(x, y)$，同时接收样本和条件来判断真假

• 应用：按类别生成特定数字、按文本描述生成图像

4.4 InfoGAN#

InfoGAN 通过最大化互信息来学习解耦的隐表示：

将噪声分为两部分：$z$（不可压缩噪声）和 $c$（隐编码）。目标是使 $c$ 和 $G(z, c)$ 之间的互信息最大：

$\min_G \max_D V(D, G) - \lambda I(c; G(z, c))$

由于互信息不可直接计算，使用变分下界近似：

$I(c; G(z, c)) \geq \mathbb{E}_{c \sim p(c), x \sim G(z,c)}[\log Q(c|x)] + H(c) = L_I(G, Q)$

其中 $Q(c|x)$ 是辅助网络，用于从生成样本预测隐编码。

InfoGAN 的价值：无需标签即可自动发现数据中有意义的变化因子（如 MNIST 中的数字类型、倾斜角度、笔画粗细等）。

4.5 GAN 变体对比#

6.1 图像超分辨率（SRGAN）#

SRGAN 使用对抗训练将低分辨率图像恢复为高分辨率图像。损失函数包含：

• 内容损失：基于 VGG 特征的感知损失 $\mathcal{L}_{VGG} = \|F(I^{HR}) - F(G(I^{LR}))\|^2$

• 对抗损失：使超分结果在判别器看来像真实高清图

6.2 图像修复（Image Inpainting）#

利用 GAN 填补图像中缺失或损坏的区域。生成器学习根据周围上下文信息合理补全内容，判别器确保补全部分与原图风格一致。

6.3 风格迁移（CycleGAN）#

CycleGAN 实现无配对的图像到图像翻译（如照片到油画、马到斑马）。核心创新：

• 两对生成器-判别器：$G: X \to Y$，$F: Y \to X$

• 循环一致性损失：$\mathcal{L}_{cyc} = \|F(G(x)) - x\|_1 + \|G(F(y)) - y\|_1$

• 无需成对训练数据，只需两组无关联的图像集合

6.4 文本到图像生成（StackGAN）#

StackGAN 将文本描述转换为高分辨率图像，采用两阶段生成：

1. Stage-I：根据文本编码生成低分辨率草图（$64 \times 64$）

2. Stage-II：在草图基础上细化生成高分辨率图像（$256 \times 256$）