Twitter's Recommendation Algorithm
Elon Musk 兑现了 Twitter 算法开源的承诺,并开源了 2 个项目: 推荐系统服务:https://github.com/twitter/the-algorithm
MoCo 是计算机视觉大牛何凯明组的工作,从 2019 年发表的 MoCo V1 到 2021 年的 MoCo V3 研究重心一直是基于对比学习的视觉表征模型学习,随着近几年视觉领域训练方法从有监督到无监督、模型骨架从 CNN 到 Transformer 的变化,MoCo 也不断地对方法进行了升级改造,持续推动自监督对比学习取得进展。本文将详解介绍 MoCo V1/V2/V3 方法,看作者是如何围绕一个问题不断给出优化解决方案的。
对比学习+自监督学习这套范式已经在 CV 和 NLP 领域得到广泛应用,通过这套范式预训练的表征模型为诸多下游任务带来了效果提升。本文将介绍对比自监督表征学习的几个经典工作,从中我们可以了解到迭代思路以及各方法之间异同。