甜美的香氛的学习笔记： https://www.jianshu.com/p/af5226c7fbbb
知识图谱特征学习在推荐系统中的应用步骤大致有以下三种方式：
依次训练的方法主要有：Deep knowledge-aware Network（DKN）
联合训练的方法有： Ripple Network
交替训练主要采用multi-task的思路，主要方法有： Multi-task Learning for KG enhanced Recommendation（MKR）
由于推荐系统中的物品和知识图谱中的实体存在重合，因此可以采用多任务学习的框架，将推荐系统和知识图谱特征学习视为两个分离但是相关的任务，进行交替式的学习。
MKR的模型框架如下图，其中左侧是推荐系统任务，右侧是知识图谱特征学习任务。推荐部分的输入是用户和物品的特征表示，点击率的预估值作为输出。知识图谱特征学习部分使用的是三元组的头节点和关系作为输入，预测的尾节点作为输出
由于推荐系统中的物品和知识图谱中的实体存在重合，所以两个任务并非相互独立。所以作者在两个任务中设计了交叉特征共享单元（cross-feature-sharing units）作为两者的连接纽带。
交叉特征共享单元是一个可以让两个任务交换信息的模块。由于物品向量和实体向量实际上是对同一个对象的两种描述，他们之间的信息交叉共享可以让两者都获得来自对方的额外信息，从而弥补了自身的信息稀疏性的不足，其结构如下：
关于这个交叉单元具体实现，大家可以参照代码进行理解。
最后是损失函数部分，由于是交替训练的方式，所以在训练时首先固定推荐系统模块的参数，训练知识图谱特征学习模块的参数；然后固定知识图谱特征学习模块的参数，训练推荐系统模块的参数。
推荐系统模块是点击率预估模型，损失函数是对数损失加l2正则项；知识图谱特征学习模块希望预测得到的tail向量和真实的tail向量相近，因此首先计算二者的内积（内积可近似表示向量之间的余弦相似度），内积经过sigmoid之后取相反数，再加上l2正则项，即得到了知识图谱特征学习模块的损失。关于损失的计算，我们在代码里可以更清楚的看到
本文的代码地址为：https://github.com/princewen/tensorflow_practice/tree/master/recommendation/Basic-MKR-Demo
参考代码地址为：https://github.com/hwwang55/MKR
数据下载地址为：https://pan.baidu.com/s/1uHkQXK_ozAgBWcMUMzOfZQ 密码:qw30
在对数据进行预处理后，我们得到了两个文件：kg_final.txt和rating_final.txt
rating_final.txt数据形式如下，三列分别是user-id，item-id以及label（0是通过负采样得到的，正负样本比例为1:1）。
kg_final.txt格式如下，三类分别代表h，r，t(这里entity和item用的是同一套id)：
好了，接下来我们重点介绍一下我们的MKR框架的构建。
模型输入有以下几个部分： 用户的id、物品的id、推荐系统部分的lablel、知识图谱三元组的head、relation、tail的对应id：
def _build_inputs(self): self.user_indices = tf.placeholder(tf.int32,[None],'user_indices') self.item_indices = tf.placeholder(tf.int32,[None],'item_indices') self.labels = tf.placeholder(tf.float32,[None],'labels') self.head_indices = tf.placeholder(tf.int32,[None],'head_indices') self.tail_indices = tf.placeholder(tf.int32,[None],'tail_indices') self.relation_indices = tf.placeholder(tf.int32,[None],'relation_indices') 低层网络构建低层网络指下面的部分：
可以看到，user_id、item_id、head_id以及relation_id首先转换为对应的Embedding，user_id和relation_id经由多层神经网络向上传播、而head_id和item_id经过交叉单元进行传播！
接下来，我们来看一下交叉单元的代码:
v,e = inputsv = tf.expand_dims(v,dim=2)e = tf.expand_dims(e,dim=1)# [batch_size, dim, dim]c_matrix = tf.matmul(v, e)c_matrix_transpose = tf.transpose(c_matrix, perm=[0, 2, 1])# [batch_size * dim, dim]c_matrix = tf.reshape(c_matrix, [-1, self.dim])c_matrix_transpose = tf.reshape(c_matrix_transpose, [-1, self.dim])v_output = tf.reshape(tf.matmul(c_matrix,self.weight_vv) + tf.matmul(c_matrix_transpose,self.weight_ev),[-1,self.dim]) + self.bias_ve_output = tf.reshape(tf.matmul(c_matrix, self.weight_ve) + tf.matmul(c_matrix_transpose, self.weight_ee), [-1, self.dim]) + self.bias_ereturn v_output,e_outputitem对应的embedding用v表示，head对应的embedding用e表示，二者初始情况下都是batch * dim大小的。过程如下：
1、v扩展成三维batch * dim * 1，e扩展成三维batch * 1 * dim，随后二者进行矩阵相乘v * e，我们知道三维矩阵相乘实际上是后两维进行运算，因此得到c_matrix的大小为 batch * dim * dim
2、对得到的c_matrix进行转置，得到c_matrix_transpose，大小为batch * dim * dim。这相当于将e扩展成三维batch * dim * 1，v扩展成三维batch * 1 * dim，随后二者进行矩阵相乘e * v。这是两种不同的特征交叉方式。
3、对c_matrix和c_matrix_transpose 进行reshape操作，变为（batch * dim ） * dim的二维矩阵
4、定义两组不同的参数和偏置，分别得到交叉后的v_output和e_output.
高层网络指下面的部分：
对于推荐部分，可以采用内积直接得到CTR的预估值，也可以经过多层神经网络得到预估值；对于知识图谱部分，将head和relation对应的向量进行拼接，经过多层神经网络，得到一个tail对应向量的预估值，并与真实的tail向量计算内积。代码如下：
推荐系统部分的损失是对数损失加l2正则项：
# RSself.base_loss_rs = tf.reduce_mean( tf.nn.sigmoid_cross_entropy_with_logits(labels=self.labels, logits=self.scores))self.l2_loss_rs = tf.nn.l2_loss(self.user_embeddings) + tf.nn.l2_loss(self.item_embeddings)for var in self.vars_rs: self.l2_loss_rs += tf.nn.l2_loss(var)self.loss_rs = self.base_loss_rs + self.l2_loss_rs * args.l2_weight知识图谱特征学习模块用上一步计算的scores_kge的相反数再加上l2正则项：
# KGEself.base_loss_kge = -self.scores_kgeself.l2_loss_kge = tf.nn.l2_loss(self.head_embeddings) + tf.nn.l2_loss(self.tail_embeddings)for var in self.vars_kge: self.l2_loss_kge += tf.nn.l2_loss(var)self.loss_kge = self.base_loss_kge + self.l2_loss_kge * args.l2_weight