新基建的东风,已吹向各行各业。2020年伊始,中共中央政治局常务委员会会议指出,加快5G+车联网、特高压、城际高速铁路和城市轨道交通、新能源汽车充电桩、大数据中心、、工业互联网等七大领域新型基础设施建设进度。相比过去,以铁路、公路、桥梁等建设为主的传统基础设施建设面向的是工业经济时代。与之对应的,以信息、融合和创新为核心的新型基础设施建设,促进了数字经济时代发展。其中,车联网作为横跨5G、新能源汽车、数据中心、人工智能等诸多领域的产业,成为新基建发展的重要方向。亿欧汽车认为,5G+车联网为5G商用和智能汽车两个万亿产业发展提供了沃土,在未来智慧交通产业及智慧城市建设中拥有重要意义。“未来,随着...... Last article READ

鬼畜配音团队的福音!任意口型、任何语音都适配,吴恩达马斯克傻傻分不清楚

  杨净发自凹非寺 

  量子位报道公众号 QbitAI

  同样的脸,放上不同的声音,还可以做到如此同步。

  当 DeepFake 口型造假,效果是这样。

  有没有发现这几个人语音语调完全相同。

  闭眼一听,完全猜不到到底是谁?吴恩达?马斯克?到底是谁在说话?

  而和原有的视频对比,面部变化也不明显,效果非常自然。

  △用 YouTube 知名数码博主 Linus 配口型

  这是一个名为Wav2Lip的模型——用来生成准确的唇语同步视频的新方法,来自印度海德拉巴大学的新研究。

  任何人物身份,甚至包括卡通人物,任何语音和语言,都可以将口型视频高精度同步到任何目标语音。

  目前该项目已开源,可以去体验一下 Demo 版~只需上传 20s 的视频和音频文件就可以一键生成。

  这项研究在 Reddit 上一经发布,21 小时内就获得 200+ 的热度。

  对于这项研究的应用前景,作者说,可以应用在外文在线讲座、配音电影、新闻发布会,让人物和声音的融合更加自然,还省去大量的人力物力。

  嗯,胥渡吧、淮秀帮这些配音团队或许可以用的上!

  Wav2Lip 模型

  现有的研究,主要聚焦于在静态图像、或是对视频中的特定人物生成准确的唇语动作。

  但问题在于,无法准确的对动态图像,比如正在说话的人物,唇部动作进行变形,从而导致内容与新音频无法做到完全同步。

  就像是当你在看音画不同步的电影时,是不是很难受。

  于是,研究人员找到了出现这一问题的关键原因,并通过一个「唇语同步辨别器」来解决。

  具体而言,有两个关键原因,现有研究中所使用的损失函数,即L1 重构损失LipGAN 中的判别器损失都不能减少错误的唇语同步生成。

  于是,研究人员就直接通过一个预先训练好的判别器「well-trained lip-sync expert」,来检测唇语同步的错误,这一判别结果已经相当准确。

  此外,研究人员还发现,在产生噪声的面孔上进一步微调,会阻碍判别器测量唇部同步的能力,从而也会影响生成的唇形。

  最后,还采用视觉质量鉴别器来提高视觉质量和同步精度。

  举个例子,黄色和绿色框的是本次提出的模型,红色框为现有的最佳方法,文字是他们正在说的语句。

  可以看到模型产生的唇形比现有的唇形更加准确、自然。

  模型训练结果       

  在模型训练阶段,作者提出了两个新指标, “Lip-Sync Error-Distance”(越低越好)和 “Lip-Sync Error-Confidence”(越高越好),这两个指标可以测量视频的中的唇语同步精度。

  结果发现,使用 Wav2Lip 生成的视频几乎和真实的同步视频一样好。

  需要注意的是,这个模型只在 LRS2 上的训练集上进行了训练,在对其他数据集的训练时需要对代码进行少量修改。

进一步的,还对现实的三种视频类型进行了评估。

  结果均表明,Wav2Lip 模型都能产生高质量、准确的唇语同步视频,不过,在对 TTS 生成的语音进行唇语同步时,还有改进的空间。

  你觉得这项研究如何?

  目前,项目已经开源,可以自行去体验一下 Demo 版哦~

  再次提醒:只需上传 20s 的视频和音频文件,就可以一键生成哦!

  论文地址:

  

  Demo 演示视频:

  

  GitHub 地址:

  

  Demo 网址:

  

  当地时间 9 月 2 日,印度信息技术部以所谓“有损印度主权与完整、印度国防、国家安全与公共秩序”为由,封禁中国公司研发的 118 款手机 App,其中包括了在印度很受欢迎的手机游戏“绝地求生”。这一决定令上千万的印度玩家感到失望,一名 21 岁的学生甚至因无法继续打游戏而选择上吊自杀。   据印度报业托拉斯 7 日报道,印度西孟加拉邦纳迪亚地区警方 6 日表示,21 岁的学生普里塔姆·哈尔德因政府的禁令而无法继续打“绝地求生”,被发现在家中上吊自杀。他的母亲称,这起事件发生在 4 日,哈尔德吃完早饭后就......Next article READ