写在前面

这仅仅是为了方便自己整理思路,并不保证完全正确。

作者

Xiang Wang, Xiangnan He, Fuli Feng, Liqiang Nie, Tat-Seng Chua

论文链接

https://www.comp.nus.edu.sg/~xiangnan/papers/www18-tem.pdf

研究动机

embedding-based methods 在推荐中具有良好的表现,但是整体像一个黑盒,无法对外解释
tree-based methods (例如决策树)能够很好地从数据中推理出规则,也就是能够得到一个比较好的推荐解释,但是不能生成没有见过的数据

作者的动机就是将两者结合在一起,既保持tree-based的可解释性,又有embedding-based的state of art performance

当前研究不足

当前的方法,只是把不同模型的输出融合在一起,不能充分地把信息从tree-based模型传播到embedding-based模型

作者解决办法

TEM的框架如下图所示。

image-20180509184142211

主要分为两部分:Embedding 和 Attention

  • Embedding

    • 将用户属性和物品的属性输入GBDT,得到向量q,q是一个multi-hot vector,因为q是稀疏向量,所以作者仅处理q对应位置非零的embedding
    • user-item id的embedding
  • Attention

    • 通过attention net学习权重
    • 将max-pooling 或 average-pooling 的结果作为输入,送到MLP

Baseline

  • XGBoost [10] tree-based方法的state of art
  • GBDT+LR [22] 将GBDT得到的特征送入逻辑回归,目标是精炼特征的权重
  • GB-CENT[49] boosting方法结合了MF和GBDT的预测的state of art
  • FM [32] 分解机
  • NFM [20] 神经分解机

评价指标

  • logloss
    • logarithmic loss [36] measures the probability that one predicted user-item interaction diverges from the ground truth. A lower logloss indicates a better performance.
    • 显示模型的生成能力
  • ndcg@K
    • ndcg@K [17, 19, 21, 29, 30] assigns the higher importance to the items within the top K positions of the ranking list. A higher ndcg@K reflects a better accuracy of getting top ranks correct.
    • 反映top-K推荐性能

作者的主要贡献

提出了TEM模型,将embedding-based模型的生成能力和tree-based模型的解释能力无缝结合起来