1 / 36
文档名称:

通用广告引擎的索引设计和性能优化.ppt

格式:ppt   大小:843KB   页数:36页
下载后只包含 1 个 PPT 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

文档介绍:通用广告引擎的索引设计和性能优化
阿里妈妈事业部
师陀

Agenda
背景
索引设计和实现
遇到的问题
下一步工作
性能优化过程
性能优化小结
Q&A

背景
广告引擎的基本状况
层级结构:
广告主->广告计划->广告商品-通用广告引擎的索引设计和性能优化
阿里妈妈事业部
师陀
Agenda
背景
索引设计和实现
遇到的问题
下一步工作
性能优化过程
性能优化小结
Q&A
背景
广告引擎的基本状况
层级结构:
广告主->广告计划->广告商品->竞价词
背景
广告引擎的基本状况
层级结构:
广告主->广告计划->广告商品->竞价词

广告查询流程
Query解析-> 倒排查询->过滤->算分->排序->拼装结果返回
背景
广告引擎的基本状况
层级结构:
广告主->广告计划->广告商品->竞价词

在线查询流程
Query解析-> 倒排查询->过滤->算分->排序->拼装结果返回

索引数据:
每天重建全量 + 实时更新增量
背景
一年前:
使用搜索引擎isearch的索引内核 + 自己开发的辅表结构
相对实现复杂,正排读接口不清晰
性能问题

重构:新的通用广告引擎(一期)
索引支持主辅表结构
只做广告引擎需要的功能
目标:性能和可维护性
索引设计
倒排:全量 + 增量
Payload字段可配置
增量的多级可回收内存池
索引设计
正排:主/辅表结构
多种值类型:bit/int8/int16/…/float/string
多种字段类型:单值/固定多值/变长多值
定长字段和变长字段的紧密存储
Package
表的关联
字段平铺
索引设计
正排:主/辅表结构
多种值类型:bit/int8/int16/…/float/string
多种字段类型:单值/固定多值/变长多值
Package
表的关联
字段平铺
索引设计
正排
多种值类型:bit/int8/int16/…/float/string
多种字段类型:单值/固定多值/变长多值
定长字段和变长字段的紧密存储
Package
表的关联
字段平铺
主/辅表 + keyId->docId的hash表 + DeleteMap
索引实现
索引实现
索引实现
索引实现
索引实现
其他
TableWriter的其他成员
DeleteMap
KeyIdHashTable
相关小工具:indexLibPrinter
遇到的问题(1)
Mmap的得失
天然的弱持久化方案
利用系统page cache管理数据局部性
遇到的问题(1)
Mmap的得失
天然的弱持久化方案
利用系统page cache管理数据局部性
脏页回写不可控
遇到的问题(1)
Mmap的得失
天然的弱持久化方案
利用系统page cache管理数据局部性
脏页回写不可控
短期解决方案@2.6.18内核:flush_mmap_pages=0
遇到的问题(1)
Mmap的得失
天然的弱持久化方案
利用系统page cache管理数据局部性
脏页回写不可控
短期解决方案@2.6.18内核:flush_mmap_pages=0
Page cache换入换出不可控
遇到的问题(1)
Mmap的得失
天然的弱持久化方案
利用系统page cache管理数据局部性
脏页回写不可控
短期解决方案@2.6.18内核:flush_mmap_pages=0
Page cache换入换出不可控
mlock:不符合极端情况的异常处理需求
遇到的问题(1)
Mmap的得失
天然的弱持久化方案
利用系统page cache管理数据局部性
脏页回写不可控
短期解决方案@2.6.18内核:flush_mmap_pages=0
Page cache换入换出不可控
mlock:不符合极端情况的异常处理需求
另外的解决方案:使用shm替换mmap,主动控制持久化和故障恢复
遇到的问题(2)
稳定性
每天build全量的过程牵涉的系统太多太复杂
故障恢复的能力需要加强
解决方案:索引重整 + 索引压缩
遇到的问题(2)
稳定性
每天build全量的过程牵涉的系统太多太复杂
故障恢复的能力需要加强
解决方案:索引重整能力 + 索引压缩
数据灵活性
跟分布式build的结合
批量更新能力
下一步工作
广告引擎设计时的各项指标优先级
稳定性
正确性
灵活性
问题定位能力
性能
下一步工作
一期的新引擎还是很像搜索引擎
dispatcher
searchNode
searchNode
searchNode
merger
下一步工作
dispatcher
searchNode
searchNode
searchNode
merger
分布式
引擎索引数据中心

分享好友

预览全文

通用广告引擎的索引设计和性能优化.ppt

上传人:taoapp 8/7/2022 文件大小:843 KB

下载得到文件列表

通用广告引擎的索引设计和性能优化.ppt

相关文档