发布时间:2023-12-12 15:00
首先需要明确的是无监督模型的正确使用姿势,即先在较大的、难以很好标注的数据集上利用无监督训练得到一个pre-trained模型,再根据下游具体的任务,在较小的、可以很好标注的数据集上,进行有监督的fine-tuning。
很多DL Reseachers都认为深度学习的本质其实就是在做两类upstream tasks:
Representation Learning
(表示学习)和Inductive Bias Learning
(归纳偏好学习)。学好了样本的表示在不涉及推理、逻辑等的downstream tasks上,DL能够给出一个不错的结果。例如:NLP领域中判断句子的情感方向,CV领域中进行图像检索、物体识别。而DL要想较好地完成一些更加高级的语义信息和复杂的逻辑活动,就需要设计一系列过程去分解这些复杂的任务。Unsupervised Representation Learning在NLP领域已经取得了重大的成果,而CV领域的Unsupervised Visual Representation Learning却被甩在了后面。有了以上的Motivations,论文从
Contrastive Learning
(对比学习)框架的角度出发提出了MoCo
用于无监督的视觉表示学习。
Nvidia jetson nano opencv 3.4.3 GPU版 编译 配置
【Pygame实战】你说神奇不神奇?吃豆人+切水果结合出一款你没玩过的新游戏!(附源码)
一文讲透为Power Automate for Desktop (PAD) 实现自定义模块 - 附完整代码
【Java数据类型】“字符串”全解之“StringBuffer类和StringBuilder类”
Spark3.x入门到精通-阶段五(SparkStreaming详解原理&java&scala双语实战)
2022年全国中职组网络安全国赛赛题思路(仅自己一个做题的思路)——网络安全竞赛试题(1)