您的位置:首页 > 互联网

用“对抗生成网络”也可以 P 图,效果不输 Photoshop_生成对抗网络

发布时间:2022-07-17 06:19:47  来源:互联网     背景:

  把人的眼睛变大、把嘴合上、转动眼珠:

生成对抗网络图像增强

  质量如此逼真、一点糊图的痕迹都没出现 。

  如果我不说,你知道这其实是对抗生成网络(Generative Adversarial Network,以下简称为 GAN)自己 P 的吗?

生成对抗网络

  除了人脸,汽车啊鸟啊猫啊也都可以,比如改改车轮大小、换个车轴样式:

生成对抗网络图像增强
对抗网络生成图像

  把小鸟的喙部变长、头抬高、胸脯变壮:

生成对抗网络图像增强

  用动图展示就更炫酷了:

生成对抗网络

  大点大点,圆点圆点,头发再多一点……

  怎么样,这 GAN 的效果是不是也不输 PS?

  一个高质量 P 图 GAN

  以上这些都来自一个叫做 EditGAN 的模型,可以对图像实现很多细节上的编辑,同时还能保持原图质量。

  研究出自英伟达、多伦多大学以及 MIT,相关论文已被 NeurIPS 2021 接收。

对抗网络生成图像

  在此之前,大多数基于 GAN 的图像编辑方法往往都需要大规模数据集上的语义分割注释才能训练,并且也只能做一些有限的修改,有的甚至只是在两张图之间简单地进行插值。

  EditGAN 作为一种全新方法,只需少量语义标记就能训练。

  它会把原图像分割成高度精细的语义块(segmentation mask),有多精细呢?

  就比如下面这张人脸图,被足足按 30 种语义进行了分割:

生成对抗网络

  而在一个交互工具中(还未开放地址),只需操作这些语义块就可以对相应部分进行修改。

对抗网络生成图像

  EditGAN 的关键思想在于利用图像和语义分割的联合分布 p (x, y) 。

  具体来说就是给定要编辑的新图像 x,将其嵌入到 EditGAN 的潜空间,由于语义分割图和 RGB 图像共享相同的潜码,所以可以得到相应的分割图 y。

  接着,使用简单的交互式数字绘画或标签工具,可以根据所需的编辑手动修改分割图 y。

  然后进行共享潜码的优化,以保持新分割图与真实图像的 RGB 外观一致,如图所示:

网络p图软件

  相应的梯度则通过共享生成器反向传播而成。

  结果就是潜空间中的编辑向量 δw + edit。

  此外,EditGAN 通过学习提炼各种各样的编辑向量,可以直接应用于新的图像。

生成对抗网络

  还可以泛化到绘画作品上

  真实质量如何?

  研究人员在在四个不同类别的图像上对 EditGAN 进行评估:汽车(空间分辨率 384×512)、鸟类(512×512)、猫(256×256)和人脸(1024×1024)。

  定性实验结果

  将 EditGAN 此前学习的编辑向量应用于新图像,经过 30 个优化步骤的细化,EditGAN 的编辑操作保持了原图像的质量。

生成对抗网络
生成对抗网络图像增强

  用它进行高精度细节编辑的效果也很好,比如下面左图对轮轴的旋转,右图对瞳孔大小的修改:

生成对抗网络

  在下面这种高清的图像上效果就更好了:

对抗网络生成图像

  作者表示,目前其他方法都还不能达到这样的效果。

  此外,EditGAN 也有很强的泛化能力,比如在下面这种绘画等风格的人像上,做点小表情毫无违和感。

生成对抗网络

  定量实验结果

  和基于 MaskGAN 的 smile 编辑基准的模型相比,EditGAN 则实现了最佳属性精度和 ID 分数。

对抗网络生成图像

  最后,和所有基于 GAN 的图像编辑方法一样,EditGAN 仅限于应用到由 GAN 建模的图像上。

  作者介绍

  一作凌欢,多伦多大学博士生,同时在该校人工智能研究院(Vector Institute)和英伟达做研究。

生成对抗网络图像增强

  共同一作 Karsten Kreis,英伟达高级研究科学家,2018 年以博士学位毕业德国马普高分子所。

网络p图软件

  其余作者包括:英伟达多伦多 AI Lab 的 Li Daiqing,多伦多大学的 Seung Wook Kim,以及 MIT 教授 Antonio Torralba。

  通讯作者为一作导师,多伦多大学副教授,英伟达 AI 总监 Sanja Fidler。

网络p图软件

乐视手机s1评测

网络p图软件

迅雷极速版2020官网

深度操作系统的最新版本


Gartner2019服务器魔力象限

华为harmonyos2.0系统怎么样

智米电暖气智能版

物流公司什么时候复工

劳动力短缺,北美企业机器人订单创新高
广西首个高铁物流基地开工建设

返回网站首页

本文评论
骁龙8cx Gen2「高通骁龙8 Gen2宣布:小米13有望全球首发」
今天下午,高通公司宣布,将于11月16日-11月18日举行2022骁龙峰会,地点选择在三亚海棠湾,这次峰会高通公司会发布骁龙8 Gen2移动平台。目前高通骁龙8 Gen2已经现身Geekbench跑分网...
日期:11-08
微软推出新版 Media Player:全新 Win11 设计,取代 Groove 音乐(groove音乐和media player)
  11 月 17 日消息,微软官方今日宣布,新版 Media Player 已向 Dev 渠道的用户推出。   微软重新设计了 Media Player,让用户在 Windows 11 上更愉快地收听和观看多媒体内...
日期:05-28
贾跃亭造车梦要成了?FF91交付计划公布 还差10几亿资金_贾跃亭新车ff91
换了新CEO后,贾跃亭是不是又距离自己的造车梦又进了一步?雷克萨斯官宣涨价小米智能锁最新款价格表大全法拉第未来陈雪峰表示,计划有机会在2023年3月底开始生产可销售的FF91 Fut...
日期:12-16
苹果iOS设备好评榜:6款iPhone手机上榜 第一无可争议「iOS设备好评率排行榜出炉:第一名并非iPhone,连续霸榜」
10月4日,知名跑分平台安兔兔发布了2022年9月iOS设备好评榜TOP10。此份榜单的数据来源自安兔兔评测;数据收集时间2022年9月1日至9月30日,仅限国内市场。根据这份榜单的信息,排名...
日期:10-06
微软 Win11 全新彩色任务管理器上手体验:更现代,支持黑暗模式和强调色
  5 月 2 日消息,据 Windows Latest 报道,Windows 11 太阳谷 2 更新设置为以现代外观刷新任务管理器界面,这更符合整个操作系统的 WinUI 实现的其余部分。在最新的 Windows...
日期:05-26
腾讯教育《学习强师》公益活动走进四川,携精准作业管理系统等开展教师信息化培训
  2021年是国家“十四五”规划的开局之年,将全面进入乡村振兴战略实施阶段。四川省教育厅在开展党史学习教育“我为群众办实事”实践活动中,聚焦民族地区教育信息化发展,着...
日期:03-11
华为云数据库BUFF加持,云上游戏就是这么嗨
  自今年6月工信部正式发布5G牌照开始,我国的5G网络建设如火如荼。就像1G时代属于语音、2G时代属于文本、3G时代属于图片、4G时代属于视频,5G最有可能将在游戏这种集语音、...
日期:05-14
神舟十二号接空间站「神舟十五号乘组在轨满月 太空“搞装修”」
2022年11月29日23时08分,长征二号F遥十五运载火箭成功发射了神舟十五号飞船,30日5时42分,成功对接于空间站天和核心舱前向端口,整个对接过程历时约6.5小时,3名航天员费俊龙、邓清...
日期:12-31
惧怕《阿凡达2》 输不起?郭帆回应《流浪地球2》撤档 春节见
有消息称《流浪地球2》将撤档,这也引起了影迷的关注,是为了避开《流浪地球2》?电影《流浪地球2》导演@郭帆FrantGwo 在粉丝群中否认撤档传闻,回应粉丝:放心,我们一定抗住。春节,不...
日期:12-24
SITA最新报告: 数字化旅客驱动2025年航司和机场策略_SITA民航
  数字化旅客期待更自动化的无缝旅行体验   全球航空运输业领先的IT商务解决方案和通讯服务提供商国际航空电讯集团(以下简称“SITA”)发布报告显示,机场和航司IT高管认...
日期:06-27
梅赛德斯电动奔驰价格表「梅赛德斯-奔驰将推1200美元年费订阅服务 能让电动汽车加速快一点」
11月25日消息,据国外媒体报道,在汽车行业,以订阅服务的形式提供汽车功能是一种颇有争议的做法,梅赛德斯-奔驰就是一家尝试这种做法的汽车制造商。据外媒报道,梅赛德斯-奔驰即将推...
日期:11-27
专访腾讯多媒体实验室商世东:咬咬牙也要跟上新版本的发布
(Photo by Sergey)   受疫情影响,远程协同办公软件市场爆发,腾讯会议上线两个月内日活超千万,在如此高并发流量冲击下,腾讯会议保持了清晰流畅的语音服务。近日,腾讯多媒体...
日期:05-14
Firefox 4冲击微软IE9 下载量突破1亿次(ie浏览器版本)
  北京时间4月27日上午消息,Mozilla火狐4浏览器下载量已经突破1亿次,而这个里程碑是在火狐4最终版本发布仅一个多月后实现的。   其中,超过4000万次的下载量来自欧洲,3000...
日期:07-27
特斯拉股市今日开盘价_特斯拉盘前涨约3% 开盘市值或将超5000亿美元
11月24日 消息:经历周一的股价飙升之后,特斯拉股价再次创下新高。截至发稿,特斯拉股价盘前涨2.73%,报价536.1美元,目前总市值为4946.62亿美元,预计开盘市值或将首次突破5000亿美...
日期:08-01
苹果完全恢复在推特的广告!或成推特最大广告商「苹果商店的推特」
中关村在线消息:12月4日,据相关爆料,马斯克表示,苹果“完全恢复了”在推特上的广告并在推特发文称感谢广告商们重返推特。据悉,本周三马斯卡发文称,他在加州库比蒂诺的Apple Park...
日期:12-05
特斯拉完全自动驾驶测试版现已向北美所有车主开放_特斯拉自动驾驶测试视频
11月25日消息:马斯克在推特上宣布,特斯拉全自动驾驶测试版(Full Self-Driving Beta)现已面向所有北美付费车主推出。怪兽充电 股东rog魔霸5 3060特斯拉于2020年开始测试FSD Bet...
日期:11-27
iPhone的13首销破发「iPhone 14 Plus明天首销 6999起 没发售就破发」
明天,也就是10月7日,iPhone 14 Plus将正式首销,该机有着6.7英寸的大屏,首发售价为6999元起,首批参与iPhone 14 Plus预订的用户,今明两天就会收到快递信息,明天上午就能拿到手机了。...
日期:10-22
苹果向美国政府提供隐私_美国国会议员:苹果借隐私保护为名行垄断之实
  北京时间11月28日早间消息,苹果近期对iOS 13进行升级,提供了一系列新的隐私和安全功能。然而美国国会议员指控称,苹果借机从事不利于市场竞争的活动。   《华盛顿邮报...
日期:06-23
谷歌员工对削减成本不满:CEO称“不要把乐趣等同于金钱”_谷歌的员工激励
  讯 北京时间9月23日晚间消息,据报道,在谷歌本周的“全员大会”上,员工们对公司近期的一系列削减成本措施表示不满,而CEO桑达尔·皮查伊(Sundar Pichai)回应称,不要总是把乐趣等...
日期:09-24
商家以拆封为由拒绝退货退款触犯了什么法律「最高法:不得以商品已拆封为由拒绝退货」
12月29日 消息:最高人民法院27日发布《关于为促进消费提供司法服务和保障的意见》,意见明确,消费者因检查商品的必要而对商品进行拆封查验,不损害商品完好,电子商务经营者不得以...
日期:12-29