:活动计划书怎么写 一、策划书名称      把策划名称写得尽可能具体,如“大学××活动策划书×年月”,放在页面中心,当然可以写正标题,并将此写成下面的小标题。     二、 活动背景:     这部分内容应根据建议的特点,在下列项目中选择重点阐述; 具体项目包括: 基本信息概况、主要执行目标、近期形势、组织部门、开展活动的原因、社会影响和相关目的的动机。其次,要解释问题的环境特征,考虑环境的内在优势、劣势、...... Last article READ

谷歌新研究:让失语者在视频会议中用手语自然交流

  雷锋网按:视频会议对所有人开放,那也应该包括使用手语进行交流的用户,但由于大多数视频会议系统会自动跟踪讲话人提示窗口,对于手语交流者而言,他们却很难轻松有效地进行沟通。

  因此,在视频会议中采用实时手语检测的场景变得十分有挑战性,系统需要使用大量视频反馈作为输入进行分类,这使得任务计算变得十分繁重。某种程度上,这些挑战的存在也导致有关手语检测的研究很少。

  近日在 ECCV 2020 和 SLRTP 2020 全球顶会上,谷歌的研究团队提出了一个实时手语检测模型,并详述了该模型将如何用于视频会议系统中识别“发言人”的过程。

  1、设计思路

  为了主动适配主流视频会议系统所提供的会议解决方案,研究团队采取了一种轻量型、即插即用的模型。该模型占用 CPU 小,以最大程度降低对客户端通话质量的影响。为了减少输入的维度,采用从视频中分离所需信息,对每个帧进行分类。

  “由于手语涉及用户的身体和手两部分,我们先运行了人体姿态估计模型 PoseNet,这样可将输入从整个高清图像大幅分减到用户身体上的一小部分,如眼睛、鼻子、肩膀、手等关键特征点(landmarks)。然后,我们再将这些关键特征点用于计算每一帧光流(Optical Flow),从而在不保留用户特定信息的前提下就能量化用户的姿态特征。每个姿态都通过人肩膀宽度进行归一化,以确保模型在距离摄像头一定距离内注意到用户的手势。最后,将光流通过视频的帧速率进行归一化,再传递给该模型。”

  为了测试这种方法的有效性,研究团队采用了德语手语语料库(DGS),该语料库包含人体手势的长视频(含跨度注释)。基于训练好的线性回归模型基线,使用光流数预测人体手势何时发出。该模型基线可达到 80% 的准确度,每一帧仅需要约3μs(0.000003 秒)的处理时间即可完成。通过将前 50 个帧的光流作为该模型的上下文,最终达到 83.4% 的准确度。

  团队使用了长短期记忆网络(LSTM)架构,该模型可实现的 91.5% 的准确度,每一帧的处理时间约为 3.5 毫秒(0.0035 秒)。

  2、概念验证

  在实际的场景中,有了运行完备的手语检测模型仅是第一步,团队还需要设计一种方法来出发视频会议系统的主动式扬声器功能。团队开发了一款轻量级的在线手语检测演示 demo,可以连接到任何视频会议系统上,并将手语交流者设置为“发言人”。

  当手势检测模型确定用户正在进行手语交流时,它会通过虚拟音频电缆传递超声音频,任何视频会议系统都可检测到该音频,就好像手语交流者正在“讲话”一样。音频以 20kHz 传输,通常在人类听觉范围之外。因为视频会议系统通常将音频的音量作为检测是否正在讲话的标准,而不是检测语音,所以应用程序会误以为手语交流者正在讲话。

  目前这款模型的在线视频演示源代码已经公布在 GitHub 上。

  GitHub 传送门:

  3、演示过程

  在视频中,研究团队演示了如何使用该模型。视频中的黄色图表反映了模型在检测到手语交流时的确认值。当用户使用手语时,图表值将增加到接近 100,当用户停止使用手语时,图表值将降低至0。

  为了进一步验证该模型效果,团队还进行了一项用户体验反馈调查。调研要求参与者在视频会议期间使用该模型,并像往常一样进行手语交流。他们还被要求互相使用手语,以检测对说话人的切换功能。反馈结果是,该模型检测到了手语,将其识别为可听见的语音,并成功识别了手势参与人。

  雷锋网(公众号:雷锋网)总结

  从目前来看,此次尝试的出发点及过程中采用的一系列方法的可操作性均本着场景落地为出发点,尽管从实际应用中可能还会出现更多意想不到的海量用户需求,如不同国家地区的手语存在巨大差异等问题,如何将这些能力抽象出来满足更多的人群,将是接下来对这项工作能在商业环境中真正落地需要积极思考的方向。

  文/远川科技组   来源:远川科技评论(ID:kechuangych)   刚刚,中芯国际发布公告表示:“美国商务部工业与安全局(Bureau of Industryand Security)已根据美国出口管制条例 EAR744.21(b)向部分供货商发出信函,对于向中芯国际出口的部分美国设备、配件及原物料会受到美国出口管制规定的进一步限制,须事前申请出口许可证后,才能向中芯国际继续供货。”   也就是说,作为目前大陆最先进的晶圆代工厂,承载着中国芯片先进制程的希望,中芯国际被美国紧紧盯上了。   这并不是中芯国际第一次被各方势力撕扯,由于芯片行业的特殊性,国家的政......Next article READ