7.丁海峰--今日头条User Profile系统架构实践.pdf

文档介绍：今⽇头条 User Profile
系统架构实践
丁海峰
推荐系统是怎样⼯作的
•⾼质量的⽤户特征是做好推荐的关键之⼀
什么是好的推荐效果
•点击率,但不仅是点击率
•内容⾼质量,丰富多样,有惊喜感,能够帮助⽤
户探索兴趣,快速反馈⼜不能过度灵敏, etc.
•⻓期⺫标
•⽤户:有兴趣,有收获,愿意⻓期使⽤
•⽣态:⿎励良币,驱逐劣币
需要怎样的⽤户特征
•⼈⼝学:性别、年龄、地域, etc.
•内容特征: category, topic, keyword, entity, etc.
•喜欢& 不喜欢
•短期& ⻓期
•协同特征:相似⽤户
•其它: . 逼格
My Profile
算法
•点击加权& 未点击惩罚
•热⻔点击降权
•时间衰减
•噪声过滤: spam,标题党等
•其它精细的调优
System Overview
Our Challenges
•存量⽤户量⼤, ⽤户⾏为数据量巨⼤
•期望快速反馈
• Online serving storage: 读写吞吐⾼,时延低且可
预期
⼀些数字
•⽤户⾏为数据
•历史存量: 500TB+ (压缩后)
•每⽇新增: 1TB+ (压缩后)
•⾼峰时段: 400K msg/s ( Overall)
• Profile Server
• feature 数量: 200+
•容量:单副本 12TB
•请求次数: qps
Batch Approach
• Batch 计算, MySQL 存储
• Daily Mapreduce Workflow
•对每⽇活跃⽤户,抽取该⽤户过去两个⽉的展
⽰和动作,从 0开始重建该⽤户的 user profile