记录一下相关思考。出于隐私保护需要，文中不会涉及到具体信息。
实验习惯每次实验记录更改，以便于以后播放。
感受到验证方式工业界和学术界做实验的一个区别是，做学术拿数据集跑一跑，有了结果效果好就可以开始写论文了。 在业务部门验证模型是否有用通常需要时间才能得出更准确的结论，因为它会受到产品周期、事件投入等因素的影响。 平滑这些因素的影响需要时间。 该外科学的A/b测试及对比方式也是了解相对指标与绝对指标的差异，如何用科学的水桶消解其他业务，投入活动，保证消费水平分布不均对效果验证的影响等得到客观的结论。 并且，为了避免直线思维中的陷阱，需要形成一些数据分析的直觉。 例如，我在数据分析栏提到的【辛普森悖论】就是一个很好的例子。
1 .充足的流量在得到正确结论的前提下，如何判断流量是否充足？ 设置一模一样的两组空跑一段时间，观察这两组指标的差异，在合理区间可以在此基础上进行实验。 差异较大时被认为流量分配不充分，此时需要通过显存检查等统计手段得出比较可靠的结论。
2 .由于客观因素的限制，流量限制比较大，不能保证不同人群的用户分布一致。 另外，如果ARPU值因平时的大小活动而不断变动，如何评价模型的效果呢？ 可以考虑使用相对指标来评价这种情况。 例如，如果考虑时间区间[x、y (模型上线)、z ) ]，则用(y-z时间段的arpu值)/(x-y时间段的arpu值)来表示相对上升，通过在不同的组间比较该指标，来满足用户分布的不一致和活动
3 .在一些情况下，用户的反馈有一定的延迟，或者受到其他因素的影响，改变一个模型效果不会马上显现出来，所以并不是上线一两天就没有效果就换，只是隔一段时间
模型选择深的是需要明确模型的特性和应用场景。 我和一些朋友讨论过，现在流行的基于向量语义的深度模型，例如DSSM、DeepFM、DIN等在线效果通常比树模型好，但在游戏推荐业务中在线效果并不一定好就我个人而言，首先我觉得游戏场景的数据复杂性有限。 GDBT系列的分类器在连续的数值特征方面可以达到优异的性能。 深度模型适用于稀疏离散特征多的场景。 另外，由于游戏道具数量有限，像广告推荐一样，商品会推荐有巨大自信的笔。 虽然矢量搜索的作用空间有限，但深度模型在部分海量游戏项目搜索业务中确实取得了很好的效果。
业务指标和优化指标之间的gap一般认为，商品推荐算法只要推送消费者喜欢的东西，就能拉动消费者的消费就有效。 在这种情况下，优化指标的准确率、召回率、auc、top-n命中、消费额等指标与业务指标关联较大，优化也是直接方向。 但在实际工作中可能面临不同场景之间的相互影响，常见的是消费转移、消费透支等问题。 举个栗子，消费者在场景a和场景b购物，而你负责场景a这个区块的优化。 消费者在场景a中消费了很多，但也可能会影响场景b中的消费欲望。 但是业务指标需要提高整体消费额，所以无论你对场景a的推荐有多好都不意味着业务指标的直接提高。 此时，优化目标不仅要考虑a场景的各个指标，还需要考虑对其他场景的影响，对于这些问题具有灵活性。 最直接的想法是自行设计与业务指标更相关的优化指标。 或者结合业务经验对推荐结果进行后处理。 目前正在调查和尝试一些系统化的解决办法。
系统视角1 .注意不同场景下用户支付习惯的差异。 例如，在生活用品的购买场景中，用户的购买行为通常基于相对明确的购买意愿，而在游戏场景中，用户的购买行为随机性较高，情感因素的影响也较大。 这决定了按还是不按的很大区别。 例如，用户生活用品不足时，不用推送自己，而是主动搜索购买。 但是，如果用户在游戏中产生消费情绪点时不及时捕捉并推送，用户可能不会采取消费行为。
2 .需要优化的指标是整体收益，但手上的业务流量有限(如10 )，如何实现这10 )流量的作用乃至更大的效益最大化？ 粗略的想法是1 .首先优化手上的业务。 这一步骤可能存在收费转移和收费透支的可能性。 2 .消除影响整体收益的推荐(减少第一步收费转移和收费结算的负面影响)。 3 .探索到手的业务可能会带来其他业务的收益(例如，用户购买了a业务的商品后，也购买了b业务的商品，或者留存率增加等)。 其中，步骤一、二的核心思路
路就是创造增量，理想情况下业务指标的增长不损害到现有其他业务（实际做起来需要一步步去实验），补充一个和“”创造增量“思路比较接近的模型：《uplift model》。3. 用户心态&长期收益。拿游戏场景中的道具推荐举例，想短期内立竿见影地提高转化率，代币回收，最简单的做法就是让用户感受到优惠（打折，返利等），但是如果缺乏合适的包装机制可能会导致舆论风险，还可能会导致用户对于物品的价值定位下降乃至影响到对其他物品的相对价值定位，此外还有可能改变用户的付费习惯（比如活动期大幅度让利可能会减少用户平时的消费行为，这样是否合适需要具体场景具体分析），整体上来看可能对总营收产生负面影响。
4. 做好一个流量入口其实和现实世界中打造一个品牌有共同之处，优化的时候入口收益和用户体验都需要考虑在内，业界部分案例只关注挖消费坑而忽视了用户的体验，在短时间内可能会有较大收益，但是从长远来看如果入口口碑崩坏其实损失更大。
持续更新ing