文章目录嵌入式是什么? 嵌入式技术对深度学习推荐系统的重要性
说到嵌入式,我想你一定不知道。 至少我经常问。 事实上,嵌入式技术不仅很有名,用嵌入式方法进行类似产品推荐几乎成为业界最受欢迎的做法,在国外的Facebook、Airbnb、国内的阿里、美团,也能看到嵌入式的成功因此,自深度学习流行以来,嵌入式成为深度学习推荐系统方向最热门的话题之一。
但是,因为Embedding这个词不太理解,所以甚至很难找到准确的中文翻译。 即使勉强翻译成“嵌入”“矢量映射”,也感觉不明白意思。 所以干脆叫它嵌入式吧。
那么,这项技术到底是什么,为什么在推荐系统领域这么重要? 最典型的嵌入式方法Word2vec原理的详细内容是什么? 在这门课上,我们一起谈谈这些问题吧。
什么是嵌入式? 简单来说,嵌入式就是用一个数字向量“表示”一个对象(对象)的方法,我这里说的对象可以是语言、物品、电影。 但是,“表示”这个词是什么意思? 用一个向量表示一个东西这个词,还是觉得有点费解。
在这里,首先试着说明一个物体之所以能够用矢量表示,是因为该矢量和其他物体的矢量之间的距离反映了这些物体的相似性。 另外,两个向量之间的距离向量可以反映它们的关系。 这个说明听起来还有点抽象,用两个更具体的例子来说明吧。
图1是谷歌著名论文Word2vec的一个例子,它利用Word2vec这个模型将单词映射到高维空间,每个单词在这个高维空间的位置非常有趣。 观察图1中的左侧示例,从cxdfbx到queen的向量和从man到woman的向量在方向上和尺度上都非常接近。 这意味着什么? 这表明单词Embedding向量间的运算可以明确单词间的性别关系! 例如,woman一词的词向量可以通过以下运算求出:
嵌入式(woman )=嵌入式(man ) [嵌入式(queen ) -嵌入式(CXDfbx ) ]
同样,图1右边的例子也是典型的,从walcxdfbx到walked和从swimming到swam的向量基本一致,表示词向量明确了词之间的时态关系! 这就是嵌入式技术的神奇之处。
虽然您可能认为字向量技术与推荐系统的领域有些距离,但是Netflix APP的电影嵌入式向量方法是一个非常直接的推荐系统APP。 Netflix使用矩阵分解方法生成的电影和用户嵌入式向量图像表明,不同的电影和用户分布在一个二维空间中。 嵌入式向量存储了它们之间的相似性关系,因此有了这个嵌入式空间,推荐电影就非常容易了。 具体来说,直接找到某个用户矢量周围的电影矢量,推荐给该用户就可以了。 这是嵌入式技术在推荐系统中最直接的应用。
嵌入式技术对深度学习推荐系统的重要性其实,我一直把嵌入式技术称为深度学习的“基础核心操作”。 推荐系统领域进入深度学习时代后,嵌入式技术更是“如鱼得水”。 那么,为什么嵌入式技术对推荐系统非常重要,嵌入式技术在特色工程中起着什么样的作用呢? 对于这两个问题,我主要想在两点上和你深入谈谈
首先,嵌入式是处理稀疏特征的利器。 在上节课中,我学习了One-hot编码。 推荐场景中类、ID型特征非常多,大量使用One-hot编码会导致样本特征向量极度稀疏,深度学习的结构特征不利于稀疏特征向量的处理,因此大多数深度学习推荐模型都是emmeme 因此,各类嵌入式技术是构建深度学习推荐模型的基础操作
其次,嵌入式可以融合大量有价值的信息,本身是极其重要的特征向量。 与原始信息直接处理的特征向量相比,嵌入式表达能力更强,特别是在提出图形嵌入式技术后,嵌入式几乎可以采集任何信息进行编码,本身可以包含大量有价值的信息
因此,他说嵌入式技术在深度学习推荐系统中占有极其重要的位置,熟悉和掌握各种流行的嵌入式方法是成功开发深度学习推荐系统的有力武器。 这两个特征也是将有关嵌入式的内容登载在特征工学篇上的理由。 这是因为它不仅是处理稀疏特征的方法,也是融合许多基本特征,生成高阶特征向量的有效手段。