一.数据1、数据生命周期
2、数据源解析2.1商品信息
2.2用户评分数据
2.3主要数据模型
3、大数据处理流程3.1大数据离线处理流程
3.2大数据实时处理流程
二.大数据推荐项目的系统架构
1、离线统计模块
1.1历史热门商品统计所有历史数据中每件商品的分值，得到： RateMoreProducts数据结构： productId、countselect productId、 count(productid ) ascountfromratingsgroupbyproductidorderbycountdesc 1.2最近的热门商品，如果统计每月的商品得分数，就表示商品最近的人气程度。 得： ratingOfMonth、ratemorerecentlyproductsselectproductid、score、changedate(timestamp ) asyearmonthfromratingsselectproctid yearmonthfromratingofmonthgroupbyyearmonth，productId order by yearmonth desc，countdescchangdate
RateMoreRecentlyProducts数据结构： productId、count、yearmonth 1.3商品平均评价统计AverageProducts数据结构： productId、avgselect productId、 基于AVG(Score ) asavgfromratingsgroupbyproductidorderbyavgdesc 2、离线推荐模块2.1LFM的离线推荐模块2.1.1als算法中的隐含语义模型)
均方根误差(RMSE )均方误差的算术平方根、预测值与真值之间的误差
参数调整可以通过均方根误差多次调整参数值，RMSE选择一组最小的参数值，rank、iterations、lambda 2.1.2计算用户推荐矩阵
2.1.3商品相似度矩阵的计算
2.2通过物品进行脱机类似推荐(Tf-idf ) ) ) ) ) ) ) ) ) ) ) ) )。
如何找到商品a的类似商品？ ——是具有与a相同标签的商品，喜欢a的人同样喜欢的商品是UGC (用户附加在商品上的标签)的特征提取——使用TF-IDF算法从商品内容标签中提取特征，使用TF-IDF算法提取特征向量
计算特征向量的余弦相似度，得到商品的相似列表
在实际应用中，一般是在商品详细页面或商品购买页面上推荐类似商品的2.3物品的协同过滤离线类似推荐(Item-CF ) )
如何找到商品a的类似商品？ 有与——相同标签的商品，喜欢a的人同样喜欢的商品根据行动数据的相似度计算—— Item-CF。 从行动数据中找到喜欢商品a的用户，同时喜欢什么商品，喜欢的人越多相似度就越大。 基于项目的协同过滤(埋点)只需收集用户的正常行为数据(例如，点击、收藏夹、购买)，就可以获得商品之间的相似度，广泛应用于实际项目中)例如
在此，N i N_i Ni是购买商品i i iI (或商品III )的用户的列表，N j N_j Nj是购买商品j
j j 的用户列表 N i ∩ N j N_i ∩ N_j Ni∩Nj 表示同时购买了商品 i i i 与商品 j j j 的用户总数、 ∣ N i ∣ ∣ N j ∣ sqrt{|N_i||N_j|} ∣Ni∣∣Nj∣ 是对热门商品的惩罚项 2.4 基于用户的协同过滤离线相似推荐（User-CF） 3、实时推荐模块 计算速度要快结果可以不是特别精确有预先设计好的推荐模型基于自定义模型推荐优先级计算基本原理：用户最近一段时间的口味是相似的备选商品推荐优先级:
备选商品 【 X , Y , Z 】 【X,Y,Z】 【X,Y,Z】是当前商品 D D D 的商品相似度列表中与商品 D D D 最相似的的前 N N N 个商品备选商品 X X X 的推荐优先级分数为：
s i m ( A , X ) × 5 + s i m ( B , X ) × 4 + s i m ( C , X ) × 1 3 + l g 2 − l g 1 cfrac{sim(A,X)×5+sim(B,X)×4+sim(C,X)×1}{3}+lg2-lg1 3sim(A,X)×5+sim(B,X)×4+sim(C,X)×1+lg2−lg1
其中 l g 2 lg2 lg2里的 2 2 2表示用户对商品的评分大于3分的商品数量， l g 1 lg1 lg1里的 1 1 1表示用户对商品的评分小于3分的商品数量，分界线 3 3 3分是人为设定的 4、混合推荐 —— 分区混合