168快讯,大中华新闻网

热门关键词: 

超级变变变:喵星人汪星人还有街景神奇变身 Paper+Code

来源: 人气: 发布时间:2017-10-06
摘要:夏乙 千平 发自猴姆 只会卖萌的猫主子分分钟变身百兽之王? 白天能不能懂夜的黑? 你的汪星人如果是其他品种会是什么样? 不用想象,有个AI已经(完全不用人插手)“脑补”一切。先展示结果: 给一张小猫咪的图像(左边),AI就能自动让它变身狮子王(右边)

夏乙 千平 发自猴姆

只会卖萌的猫主子分分钟变身百兽之王?

白天能不能懂夜的黑?

你的汪星人如果是其他品种会是什么样?

不用想象,有个AI已经(完全不用人插手)“脑补”一切。先展示结果:

给一张小猫咪的图像(左边),AI就能自动让它变身狮子王(右边)。

给一张白天的图像(左边),AI就能自动脑补出夜晚的样子(右边),还把灯效加上了~

给一张冬天的图像(左边),AI就能脑补夏天会是什么景象(右边),还把叶子加上了~

UNIT

上面这些神奇的变身,都属于“图像到图像翻译”的问题。

这些结果都来自Nvidia研究团队的一篇NIPS 2017论文:UNsupervised Image-to-image Translation networks。

Ming-Yu Liu(刘洺堉)等研究员提出了一种基于耦合生成对抗网络(Coupled GAN)和变分自动编码器(VAE)的无监督图像到图像翻译框架,他们还根据首字母缩写(强行)给“无监督图像到图像翻译”起了个名字:UNIT。

论文中提到,从概率模型的角度来分析图像到图像的翻译问题,会发现其中的关键挑战是学习不同领域图像的联合分布。

共享潜在空间假设

为了推断联合分布,Ming-Yu Liu等使用了“共享潜在空间假设”,假设不同领域的一对对应图像(x1、x2)可以映射到共享潜在空间(z),UNIT框架就建立在这个假设的基础之上。

上图中的E1和E2是两个编码函数,可以将图像映射到潜在编码,而G1和G2是两个生成函数,从潜在编码映射到图像。

UNIT框架结构

在UNIT框架中,研究人员用VAE-GAN对每张图像建模,其中抗性训练目标与权重共享约束相互作用,实施共享空间,以在两个域中生成相对应的图像,而VAE将翻译的图像与相应域中的输入图像关联起来。他们用卷积神经网络(CNN)重建了E1、E2和G1、G2,并通过权重共享限制来实现了共享潜在空间假设。

搞定这个框架之后,研究人员们把它用到了各类无监督图像到图像翻译任务上,比如说……

能完成街景在晴天雨天、白天黑夜、夏景雪景之间的转换,支持640×480的图片;也能在合成图像和真实照片之间进行转换:

还可以在各种狗狗品种之间转换,只要养一只狗,发朋友圈的时候就可以在哈士奇、德牧、柯基、萨摩耶、英国牧羊犬可以变来变去:

除了狗,还有猫,但不是你家的各类长毛短毛主子,而是在家猫、老虎、狮子、美洲狮、美洲虎、猎豹之间互相转换:

当然,最常见的人脸变换这个模型也能搞定,可以生成出金发、微笑、山羊胡、戴眼镜等等特征:

要想说自己的模型好,当然还得和别人的作品比较一下。

几位研究员用街景门牌号数据集SVHN、MNIST和USPS数据集之间的变换测试了模型性能,和SA、DANN、DTN、CoGAN等模型进行了比较。

UNIT框架在SVHN→MNIST任务上的准确率达到0.9053%,远高于同类模型。

Paper+Code

如果你对这篇论文感兴趣,可以直接阅读原文。Paper地址:https://arxiv.org/abs/1703.00848

另外,Nvidia研究团队还放出了这项研究的代码。这是一个无监督图到图翻译的Coupled GAN算法PyTorch实现。

GitHub地址:https://github.com/mingyuliutw/UNIT

更多这个项目的图像变换结果,可以在以下地址查看。

https://photos.app.goo.gl/5x7oIifLh2BVJemb2

我们还挑了几段视频,直接贴在这里。比方冬天变夏天:

还有小猫和兽王互相变身:

研究团队 Ming-Yu Liu(刘洺堉)

刘洺堉是Nvidia Research的研究员,专注于计算机视觉和机器学习方向。此前先后供职于英特尔和三菱。刘洺堉2003年在台湾交通大学获得学士学位,2012年在马里兰大学帕克分校获得博士学位。

刘洺堉个人主页的信息显示,今年他已经发布了9篇论文,除了上面这篇中NIPS(Spotlight)之外,他还有一篇论文中了IJCAI,有两篇中了CVPR(包括一篇Oral):

Tactics of Adversarial Attack on Deep Reinforcement Learning Agents

Yen-Chen Lin, Zhang-Wei Hong, Yuan-Hong Liao, Meng-Li Shih, Ming-Yu Liu, Min Sun

International Joint Conference on Artificial Intelligence (IJCAI), 2017 Melbourne, Australia

Paper:https://arxiv.org/abs/1703.06748

Project:http://yclin.me/adversarial_attack_RL

Deep 360 Pilot: Learning a Deep Agent for Piloting through 360 Sports Videos

Hou-Ning Hu, Yen-Chen Lin, Ming-Yu Liu, Hsien-Tzu Cheng, Stanley Chang, Min Sun

Conference on Computer Vision and Pattern Recognition (CVPR) Oral, 2017, Honolulu, Hawaii

Paper:https://arxiv.org/abs/1705.01759

CASENet: Deep Category-Aware Semantic Edge Detection

Zhiding Yu, Chen Feng, Ming-Yu Liu, Srikumar Ramalingam

Conference on Computer Vision and Pattern Recognition (CVPR), 2017, Honolulu, Hawaii

Paper:https://arxiv.org/abs/1705.09759

Thomas Breuel

Thomas Breuel是Nvidia的杰出研究科学家(Distinguished Research Scientist)。去年10月加入Nvidia之前,他在Google担任研究科学家的工作。他还长期在德国凯泽斯劳腾大学任教,以及供职于施乐、IBM等公司。

Thomas Breuel本硕毕业于哈佛大学,1992年在麻省理工获得博士学位。来自Google Scholar的信息显示,Thomas Breuel今年除了这篇论文,还有一份专利申请获批。

Jan Kautz

Jan Kautz是Nvidia视觉计算和机器学习研究的高级总监,领导整个视觉计算研发小组。此外他还一直担任伦敦大学学院的教职。

他本科毕业于德国埃尔朗根-纽伦堡大学,随后在滑铁卢大学获得硕士学位,2003年Jan Kautz在德国马克思·普朗克计算机科学研究所获得博士学位。

今年以来,Jan Kautz还发布了十几篇论文,其中包括:

Learning Affinity via Spatial Propagation Networks

S. Liu, S. De Mello, J. Gu, M.-S. Yang, J. Kautz

Neural Information Processing Systems (NIPS)

Paper:https://arxiv.org/abs/1710.01020

Intrinsic3D: High-Quality 3D Reconstruction by Joint Appearance and Geometry Optimization with Spatially-Varying Lighting

R. Maier, K. Kim, D. Cremers, J. Kautz, M. Niessner

IEEE International Conference on Computer Vision (ICCV)

Paper:https://arxiv.org/abs/1708.01670

A Lightweight Approach for On-The-Fly Reflectance Estimation

K. Kim, J. Gu, S. Tyree, P. Molchanov, M. Niessner, J. Kautz

IEEE International Conference on Computer Vision (ICCV,Oral)

Paper:https://arxiv.org/abs/1705.07162

Mixed-primary Factorization for Dual-frame Computational Displays

F.-C. Huang, D. Pajak, J. Kim, J. Kautz, D. Luebke

ACM Transactions on Graphics (Proceedings SIGGRAPH 2017)

Paper:http://research.nvidia.com/publication/2017-06_Mixed-primary-Factorization-for

Dynamic Facial Analysis: From Bayesian Filtering to Recurrent Neural Network

J. Gu, S. De Mello, X. Yang, J. Kautz

IEEE Conference on Computer Vision and Pattern Recognition (CVPR)

Paper:http://research.nvidia.com/publication/dynamic-facial-analysis-bayesian-filtering-recurrent-neural-networks

GA3C: GPU-based A3C for Deep Reinforcement Learning

M. Babaeizadeh, I. Frosio, S. Tyree, J. Clemons, J. Kautz

International Conference on Learning Representations(ICLR)

Paper:https://arxiv.org/abs/1611.06256

Code:https://github.com/NVlabs/GA3C

Pruning Convolutional Neural Networks for Resource Efficient Transfer Learning

P. Molchanov, S. Tyree, T. Aila, T. Karras, J. Kautz

International Conference on Learning Representations(ICLR)

Paper:https://arxiv.org/abs/1611.06440

首页 | 快讯 | 企业 | 峰会 | 观察 | 人物 | 专题 | 财经 | 科技 | 教育 | 楼市 | 汽车 | 娱乐 | 时尚 | 旅游 | 文化 | 健康 | 消费 | 农业 | 游戏 | 图文

COPYRIGHT @ 2011-2022 ALL RIGHTS RESERVED. 版权所有  一六八快讯网  

本站申明:本站部分资料来自网络,如有侵权,请您联系我们,我们会在第一时间将其删除!

一六八快讯 - 热门信息速递