新基建的东风,已吹向各行各业。2020年伊始,中共中央政治局常务委员会会议指出,加快5G+车联网、特高压、城际高速铁路和城市轨道交通、新能源汽车充电桩、大数据中心、、工业互联网等七大领域新型基础设施建设进度。相比过去,以铁路、公路、桥梁等建设为主的传统基础设施建设面向的是工业经济时代。与之对应的,以信息、融合和创新为核心的新型基础设施建设,促进了数字经济时代发展。其中,车联网作为横跨5G、新能源汽车、数据中心、人工智能等诸多领域的产业,成为新基建发展的重要方向。亿欧汽车认为,5G+车联网为5G商用和智能汽车两个万亿产业发展提供了沃土,在未来智慧交通产业及智慧城市建设中拥有重要意义。“未来,随着...... Last article READ

74KB图片也高清,谷歌用神经网络打造图像压缩新算法

  萧箫发自凹非寺

  量子位报道公众号 QbitAI

  还在为图像加载犯愁吗?

  最新的好消息是,谷歌团队采用了一种 GANs 与基于神经网络的压缩算法相结合的图像压缩方式 HiFiC,在码率高度压缩的情况下,仍能对图像高保真还原。

GAN(Generative Adversarial Networks,生成式对抗网络)顾名思义,系统让两个神经网络相互「磨炼」,一个神经网络负责生成接近真实的数据,另一个神经网络负责区分真实数据与生成的数据。

简单来说,就是一个神经网络「造假」,另一个神经网络「打假」,而当系统达到平衡时,生成的数据看起来便会非常接近真实数据,达到「以假乱真」的效果。

  下面是这种算法展现出来的图像与 JPG 格式图像的对比。

  可见,在图像大小接近的情况下(HiFiC 大小 74kB,JPG 图像大小 78kB),算法所展现出来的图像压缩效果要好得多。

  

  而在与原图进行对比时,HiFiC 所展现出来的还原效果仍然非常优秀。(真的不是在原图中间画了条线吗?)

  目前处于特殊时期,大量国外网友仍在家中隔离,Netflix 和油管的播放量暴增,一些视频网站甚至不得不被迫降低视频在线播放的清晰度,以适应激增的数据量。

  但看惯了高清视频的网友们,面对突如其来的「模糊打击」自然怨声载道。

  用一位网友的话来说,如果视频行业也能被应用类似的技术,相信 Netflix 和油管会特别高兴,毕竟这种高清低码率的图像复原实在太诱惑。

哇,如果他们可以对视频做同样的事情的话,我相信 Netflix 和 YouTube 会很高兴的。

  事实上,在了解 HiFiC 算法的原理后,会发现它的确不难实现。

  接近原图的图像重构算法

  此前,相关研究已有采用神经网络进行图像压缩的算法,而随着近年来生成式对抗网络兴起,采用GANs生成以假乱真图像的算法也不在少数。

  如果能有办法将二者结合,图像压缩的效果是不是会更好、更接近于人类的感知?

  这次图像压缩的模型便是基于二者的特性设计,在基于神经网络的压缩图像算法基础上,采用 GANs 进一步让生成的图片更接近于人类视觉,在图像大小和视觉感知间达到一个平衡。

  可以看见,HiFiC 的架构被分成了 4 个主要部分,其中E为编码器,G为生成器,D为判别器,而P则是E的输出E(x)的概率模型(这里用y表示),也就是P用于模拟y的概率分布。

  GANs 运作的核心思想在于,需要让架构中的生成器G通过某种方法,「欺骗」判别器D判定样本为真。

  而概率模型P,则是达成这步操作的条件。

  然后,将E、G、P参数化为卷积神经网络,这样就可以通过率失真优化的条件,对这些网络进行共同训练。

  同时,研究者也对已有的几种 GANs 算法架构进行了微调,使其更适于 HiFiC 架构。

  研究发现,将 GANs 与深度学习相结合的 HiFiC 算法取得了意想不到的效果。

  模型评估

  下图是采用目前几种主流图像质量评估标准,对几种前沿的图像压缩算法与 HiFiC 算法进行比较的结果。

  

  在图中,评估标准后面自带的箭头,表示数据更低(↓)或数据更高(↑)表示图像质量更好。

  为了更好地对比,结果分别采用了 HiFiC 算法(图中红点连线)、不带 GANs 的对比算法(图中橙方连线)、目前较为前沿的M&S算法(图中蓝方连线)和 BPG 算法(图中蓝点连线)。

  从结果来看,HiFiC 算法在 FID、KID、NIQE、LPIPS 几种评估标准均为最优,而在 MS-SSIM 和 PSNR 标准中表现一般。

  由评估标准间的差异可见,各项图像质量标准不一定是判断压缩技术的最好办法。

  用户评测对比

  毕竟,图像是用来看的,最终的判断权还得交回用户手里。

  图像究竟是否「清晰」,某种程度上得通过人眼的判断来决定。

  出于这个考虑,团队采取了调研模式,让一部分志愿者参与算法的比较。

  他们先展示一张测试图片的随机裁切图样,当志愿者对其中某张裁切图样感兴趣时,便用这一部分来进行所有算法的对比。

  志愿者将原图与经过算法处理后的图像对比后,选出他们认为「视觉上」更接近于原图的压缩算法。

  在所有算法经过选取后,将会出现一个排名,以衡量 HiFiC 的实际效果。(其中,HiFiC 的角标 Hi、Mi 和 Lo 分别为设置由高至低 3 种不同码率阈值时的算法)

  上图中,评分越低,则代表图像在用户眼中「越清晰」。从图中来看,HiFiC (Mi)在 0.237bpp 的压缩效果下,甚至比两倍码率的 0.504bpp 的 BPG 算法在用户眼里还要更好。

  即使压缩效果达到了 0.120bpp,也比 0.390bpp 的 BPG 算法更好。

  这项研究再次推动了图像压缩技术的发展,正如网友所说,随着图像压缩技术的发展,在线看 4k 电影也许真能实现。

  作者介绍

  Fabian Mentzer,目前在瑞士苏黎世理工学院进行计算机视觉研究,感兴趣的研究方向有深度学习、图像压缩、前馈神经网络、图像分类等。

  这篇论文的主要工作由 Fabian Mentzer 在谷歌研习期间完成,其余三位作者均来自谷歌团队。

  目前有关这个项目的源代码和训练好的模型也即将放出,小伙伴们可以戳下方传送门查看最新进展。

  传送门

  项目链接

  

  当地时间 9 月 2 日,印度信息技术部以所谓“有损印度主权与完整、印度国防、国家安全与公共秩序”为由,封禁中国公司研发的 118 款手机 App,其中包括了在印度很受欢迎的手机游戏“绝地求生”。这一决定令上千万的印度玩家感到失望,一名 21 岁的学生甚至因无法继续打游戏而选择上吊自杀。   据印度报业托拉斯 7 日报道,印度西孟加拉邦纳迪亚地区警方 6 日表示,21 岁的学生普里塔姆·哈尔德因政府的禁令而无法继续打“绝地求生”,被发现在家中上吊自杀。他的母亲称,这起事件发生在 4 日,哈尔德吃完早饭后就......Next article READ