自学内容网 自学内容网
自学内容网 > 正文

【计算机视觉】FusionGAN

🕗 发布于 2024-11-15 22:07 计算机视觉  人工智能  

1. FusionGAN论文阅读

abreheret/FusionGAN: Pytorch implementation of "Generating a Fusion Image: One’s Identity and Another’s Shape"

1.1. WHY

在现实世界中，将对象或人物转换为期望的形状是一种常用技术，但现有的图像翻译方法在处理身份和形状时存在不足，如现有图像翻译学习映射函数时缺乏明确的形状匹配损失函数，可能导致形状无法保持。因此需要新的框架来有效处理身份和形状问题，以生成融合图像，例如将一个人的身份与另一个人的姿势相结合，将合成眼图像转换为真实图像并保持形状，或实现不同风格图像（如照片、素描、卡通）之间的转换等。

1.2. HOW

1.2.1. FusionGAN

基于生成对抗网络（GANs）提出新网络，可从多个无标签图像集中获取两个输入图像，生成具有一个输入图像身份和另一个输入图像形状的融合图像，且能同时在多个图像数据集上进行无监督训练。具体地，对于两个输入图像$x=(I_x,S_x)$和$y=(I_y,S_y)$，目标是生成融合图像$G(x=(I_x,S_x),y=(I_y,S_y))=(I_x,S_y)$，即输出图像具有x的身份和y的形状。网络不限于两个图像集之间的转换，可用于多个无标签图像集。这里身份可视为图像集级别的特征（如在 VGG YouTube Pose 数据集里是人物身份），形状为实例级别的特征（如人物姿势）。

1.2.2. 损失函数

身份损失$L_{I}$

通过判别器$D$区分输入对是真实对还是生成对，使生成图像的分布与第一个输入图像所属集合的分布相似，以获取图像$x$的身份。采用$L_2$损失替代负对数似然，让生成器$G$最大化


原文地址：https://blog.csdn.net/Winkyyyyyy/article/details/143356156

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

相关文章

自学内容网
Copyright © 2015-2024