1 / 36
文档名称:

构建高并发高可用的电商平台架构实践.doc

格式:doc   大小:645KB   页数:36页
下载后只包含 1 个 DOC 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

构建高并发高可用的电商平台架构实践.doc

上传人:tswng35 2021/12/20 文件大小:645 KB

下载得到文件列表

构建高并发高可用的电商平台架构实践.doc

相关文档

文档介绍

文档介绍:. .
-优选
构建高并发高可用的电商平台架构实践 
一、 设计理念 
 
1.      空间换时间
1)      多级缓存,静态化
客户端页面缓存〔 header中包含Expires/Cache of Control,last modified(304,server不返回body,客户端可以继续用cache,减少流量),ETag〕
反向代理缓存
. .
-优选
应用端的缓存(memcache)
存数据库
Buffer、cache机制〔数据库,中间件等〕
2)      索引
哈希、B树、倒排、bitmap
哈希索引适合综合数组的寻址和链表的插入特性,可以实现数据的快速存取。
B树索引适合于查询为主导的场景,防止屡次的IO,提高查询的效率。
倒排索引实现单词到文档映射关系的最正确实现方式和最有效的索引构造,广泛用在搜索领域。
Bitmap是一种非常简洁快速的数据构造,他能同时使存储空间和速度最优化〔而不必空间换时间〕,适合于海量数据的的计算场景。
2.     并行与分布式计算
 
1)      任务切分、分而治之(MR)
在大规模的数据中,数据存在一定的局部性的特征,利用局部性的原理将海量数据计算的问题分而治之。
MR模型是无共享的架构,数据集分布至各个节点。处理时,每个节点就近读取本地存储的数据处理(map),将处理后的数据进展合并(bine)、排序(shuffle and sort)后再分发(至reduce节点),防止了大量数据的传输,提高了处理效率。
 
2)      多进程、多线程并行执行(MPP)
. .
-优选
并行计算〔Parallel puting〕是指同时使用多种计算资源解决计算问题的过程,是提高计算机系统计算速度和处理能力的一种有效手段。它的根本思想是用多个处理器/进程/线程来协同求解同一问题,即将被求解的问题分解成假设干个局部,各局部均由一个独立的处理机来并行计算。
和MR的区别在于,它是基于问题分解的,而不是基于数据分解。
3.      多维度的可用
1)      负载均衡、容灾、备份
随着平台并发量的增大,需要扩容节点进展集群,利用负载均衡设备进展请求的分发;负载均衡设备通常在提供负载均衡的同时,也提供失效检测功能;同时为了提高可用性,需要有容灾备份,以防止节点宕机失效带来的不可用问题;备份有在线的和离线备份,可以根据失效性要求的不同,进展选择不同的备份策略。
2)      读写别离
读写别离是对数据库来讲的,随着系统并发量的增大,提高数据可用性的一个重要手段就是写数据和读数据进展别离;当然在读写别离的同时,需要关注数据的一致性问题;对于一致性的问题,在分布式的系统CAP定量中,更多的关注于可用性。
3)      依赖关系
平台中各个模块之间的关系尽量是低耦合的,可以通过相关的消息组件进展交互,能异步那么异步,分清楚数据流转的主流程和副流程,主副是异步的,比方记录日志可以是异步操作的,增加整个系统的可用性。
当然在异步处理中,为了确保数据得到接收或者处理,往往需要确认机制(confirm、ack)。
但是有些场景中,虽然请求已经得到处理,但是因其他原因(比方网络不稳定),确认消息没有返回,那么这种情况下需要进展请求的重发,对请求的处理设计因重发因素需要考虑幂等性。
4)      监控
.