从新智元转移
本文中,OpenAI机器人科学家介绍了自监督学习。自监督学习为监督学习提供了很好的机会,可以更好地利用未标记的数据。本文涵盖了许多关于图像、视频和控制问题的自我监控学习任务的有趣想法。
自监督学习为监督学习提供了很好的机会,可以更好地利用未标记的数据。这篇文章涵盖了许多关于图像、视频和控制问题的自我监督学习任务的有趣想法。
对于给定的任务,使用足够的数据标签,监督学习可以很好地解决这个问题。为了获得良好的性能,通常需要相当数量的数据标签,但是收集手动标记数据的成本很高,并且很难扩展。
考虑到未标记数据的数量远远超过有限的人类标记数据集,丢弃这些数据是一种极大的浪费。然而,无监督学习并不容易,它通常比有监督学习效率低得多。
如果我们可以免费获取无标签数据,用有监督的方式训练无监督数据集,我们该怎么办?监督学习任务可以以一种特殊的形式进行安排,只依靠剩余的信息来预测一部分信息,从而达到训练目标。这叫做自我监督学习。
损失函数是:
+重量衰减规则项
帧的顺序
视频帧自然按时间顺序排列。研究人员提出了一些自我监控任务,期望准确地表示要学习的正确帧序列。
一种方法是验证帧的顺序。借口的任务是确定视频中的帧序列是否按照正确的时间顺序排列。模型需要在整个帧中跟踪和推断物体的微小运动,才能完成这一任务。
有趣的是,数据集中有一些手动提示。如果处理不当,它们可能会导致图像分类过于琐碎,无法有效反映视频内容。例如,由于视频压缩,黑色帧可能不是完全黑色的,但可能包含一些按时间顺序排列的信息。因此,在实验中应该消除黑盒。
视频着色
Vondrick等人提出了视频着色作为一个自监督学习主题,它产生了丰富的表示,可以用于视频分割和无标记视觉区域跟踪,而无需额外的微调。
与基于图像的着色不同,这里的任务是利用视频帧之间颜色的自然时间一致性,将颜色从正常参考帧复制到另一个灰色目标帧。为了一致地复制颜色,该模型旨在学习跟踪不同帧中的相关像素。
该模型基于参考系的标记方法,可用于完成一些基于颜色的下游任务,如跟踪分割或及时的人体姿态。不需要微调。
最后,有几个常见的结果:
组合多个借口任务可以提高性能。
使用更深的网络可以提高表示质量;
到目前为止,监督学习的基准仍然优于所有其他基准。
完整的原始来源:
https://lilian Weng . github . io/lil-log/2019/11/10/self-supervised-learning . html
投稿、合作欢迎联系:simiter@126.com