文/魏巍   来源:深响(ID:deep-echo)   2020 年朋友圈中好友互动最多的广告,一定有 WonderLab。   无论是不是减肥人士,一定都或多或少被动接触过这个代餐奶昔品牌。这一 2019 年初才成立的品牌,成为了该年天猫最受女性欢迎的瓶装代餐奶昔品牌,并在今年轰炸小红书与朋友圈,同时迎来一场资本盛宴——两年内完成三轮融资,投资方包括 IDG 资本、启晨资本等。   WonderLab 走红的背后,是冉冉升起的轻食、代餐风口。   近年来,在年轻消费群体之间,刮起了一股轻食、代餐的火热浪潮。新一代消费主力的消费和饮食观念发生变化,对饮食的&ldq...... Last article READ

25分钟训练机器人学会6个动作,伯克利开发高效机器人操纵框架

  文/蕾师师 

  来源:量子位(ID:QbitAI)

  这个机械臂正在完成够、拿、移、推、点、开等 6 个动作。

  而且动作娴熟,还不存在失误。

  更令人意外的是,训练这个机械臂,只花了短短 25 分钟。

  即使有人为干扰,它也能够成功完成抓取动作。

  还能抓起以前没有见过的物体形状。

  这就是来自加州大学伯克利分校的一项新研究——高效机器操作框架 Framework for Efficient Robotic Manipulation(FERM),专门对机械臂进行高效率操作的算法训练。

  FERM 为什么比其他方法效率高?

  目前来看,大多数针对机器人训练的的 RL 算法效率都不是很好。

  采用稀疏奖励的方法训练 Dota5 游戏的人机操作,使之成为达到人类玩家的高手水平,需要花 180 年的游戏时间。

  训练一个机械臂的手势,则需要上千万的模拟学习的样本和两周的训练时间。

  Sim2Real 和模拟学习这两个方法稍微好点。Sim2Real 需要接受模拟训练,再将训练结果运用到现实事例中。

  模拟学习则需要通过一系列的专业训练示范案例和监督学习,才能得出最后的训练策略,实验结果非常依赖于输入示范案例的质量。

  FERM 优势在于,既没有依靠模拟训练转换到现实,也不用高度依赖于输入的示范案例的质量。

  而是基于非监督性表征学习和数据扩张技术,使用了 pixel-based RL。

  因此,它仅仅需要 10 个 Demo,25 分钟的训练时间,就可以让机器人学会六个动作。

  FERM 具体怎么训练?

  FERM 采用了基于像素的强化学习(pixel-based RL)方法。

  具体而言,先收集小部分演示数据,并且将这些数据存放在“回放缓冲区”上。

  然后,用观察结果结合对比损失量,来对编码器进行预训练。

  而后,编码器和“回放缓冲区”运用一种线下的数据来加强 RL 算法,对 RL 智能体进行训练。

  在论文中,研究人员总结了 FERM 主要优点:

  1、高效率:FERM 可以学习 6 种不同操作任务的最优策略,在 15-50 分钟的训练时间内完成每项任务。

  2、简单统一的框架:框架结合现有的组成部分,将无监督的预训练和在线 RL 与数据扩充成一个单一高效的框架。

  3、常规轻量设置:实施起来只需要一个机器人、一个 GPU、两个摄像头、几个演示,以及稀疏奖励函数等等。

  具体的实验结果如何?

  实验结果

  这项实验采用像素观察的方法执行了一系列任务。下图的每一栏显示了初始、中间、结果等三个状态。只有当机器人完成任务时,才会获得稀疏奖励。

  这个训练算法的效率可谓很高了。具体完成时间如下图表格所示,在 30 分钟左右,它就可以让机器人学习操作任务。而简单的“够”(Reach)动作,则只需要三分钟。

  实验结果称,它不需要很多的 Demo,也不需要到大量的设备,首次完成任务的平均时间为 11 分钟,并且可以在 25 分钟内训练出 6 个机械动作。

  所以研究人员骄傲地说:

  “据我们所知,FERM 是第一个能在不到一小时的时间内,能通过像素点直接完成来自不同组、采用稀疏奖励方法的机器操作任务。”

  而根据相关报告,未来十年,制造业将需要 460 万个岗位。许多制造商也都在转向自动化生产,机械自动化将占比越来越高。FERM 这样的高效训练框架,可谓是制造业福音。

  参考链接:

  

  论文地址:

  

  源代码:

  

:安卓什么安全软件好(哪个手机管家好用?有何推荐?) 其实,我建议题主用自己的手机自带的手机安全中心,最合适,原因下面会说,当然,如果是想对自己的QQ微信进行保护,用腾讯安全中心也是没问题的。 但是最好还是用自己的手机自带的,因为不需要为第三方提供手机权限,这样你的隐私信息也就少了一个可以曝光的机会呀。 为啥我推荐咱们自己手机的安全中心,是这样的,我们自己的手机安全中心已经足够我们日常使用了。 像基础的安全体检,一打开就能用了,不用操心的。 垃圾清理应该是大家最常用的了,特别是存储小的用户,这也是我为什么推荐手机自带的安全中心的原因,因为在这方面,清理的干净。 清理完之后,还有一些深度清理的选......Next article READ