lookalike是什么意思,lookalike

Real-time Attention Based Look-alike Model for Recommender System

Yudan Liu, Kaikai Ge, Xu Zhang, Leyu Lin

WeiXin Group, Tencent Inc.

https://arxiv.org/pdf/1906.05022.pdf

最近，深度学习模型在内容推荐系统中的作用越来越重要。但是，尽管推荐效果明显提升，但是马太效应也愈发明显。

随着头部内容越来越流行，很多长尾内容很难及时曝光，因为长尾内容缺乏行为特征。该问题对推荐的质量和多样性都有不良影响。为了解决这种问题，look-alike算法对于高质量长尾内容扩展人群不失为一种好的选择。

但是，传统look-alike模型虽然在在线广告中广泛应用，并不适用于推荐系统，因为推荐系统对实时性和效果要求比较严格。

这篇文章提出一种实时注意力look-alike模型，RALM，用于推荐系统，该模型可以解决实时和有效性相互冲突的挑战。RALM根据种子用户相似性预测来实现实时lookalike人群扩散，利用优化用户表示学习和lookalike学习模型来提升有效性。

在用户表示学习中，作者们提出一种新的神经网络结构，注意力聚合层，用于替换连接层，这可以显著提升多域特征学习的表达能力。另外，考虑到种子用户的多样性，作者们针对特定定向用户，设计了全局注意力单元和局部注意力单元来学习鲁棒和自适应的种子用户表示。

此外，作者们还引入了种子用户聚类机制，不仅可以降低注意力单元预测的时间复杂度，同时还可以最小化种子信息的损失。

实验结果表明，RALM相对其他流行lookalike模型效果更好，已经成功部署在微信的看一看推荐系统中，在多样性和推荐质量方面都有大幅提升。这应该是首次将实时look-alike模型用于推荐系统中。

推荐系统中的人群扩展需要满足以下几个条件

现有方法有以下几种

实时lookalike模型的挑战有以下几个

这篇文章的主要贡献如下

推荐系统中的人群扩展算法图示如下

lookalike算法主要可以分为两类，其中一类是基于相似度的方法

还有一种是基于回归的算法

作者们所提框架和流程图示如下

离线训练主要包含用户表示学习和lookalike学习

用户表示学习lookalike学习以及迭代学习框架图示如下

在线异步处理包含以下两个部分

在线服务时，需要计算全局embedding和局部embedding

作者们利用的特征有以下几种

关于采样，作者们采用了以下做法

作者们采用的网络结构如下

注意力聚合层简介如下

lookalike模型结构简介如下

为了缓解过拟合，作者们利用了转换矩阵

为了减少计算量和更加精准选出合适的种子用户，作者们采用了局部注意力单元

作者们还采用了自注意力全局单元

局部和全局卷积单元图示如下

作者们采用的损失函数如下

数据集及参数设置如下

参与对比的有以下几种方法

采用的模型指标如下

几种模型效果对比如下

不同的pooling方法效果对比如下

不同的k对模型效果影响如下

线上ab以及相关指标如下

线上指标提升如下

部分参考资料

Haishan Liu et al. 2016. Audience expansion for online social network advertising. ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.

Qiang Ma et al.. 2016. A Sub-linear, Massivescale Look-alike Audience Extension System A Massive-scale Look-alike Audience Extension. Workshop on Big Data, Streams and Heterogeneous Source Mining: Algorithms, Systems, Programming Models and Applications.

Ashish Mangalampalli et al. 2011. A feature-pair-based associative classification approach to look-alike modeling for conversion-oriented usertargeting in tail campaigns. World wide web.

Jianqiang Shen, Sahin Cem Geyik, and Ali Dasdan. 2015. Effective audience extension in online advertising. ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.

我是分割线