1 / 36
文档名称:

大数据平台架构-巨衫.doc

格式:doc   大小:2,451KB   页数:36页
下载后只包含 1 个 DOC 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

大数据平台架构-巨衫.doc

上传人:相惜 2021/1/20 文件大小:2.39 MB

下载得到文件列表

大数据平台架构-巨衫.doc

相关文档

文档介绍

文档介绍:1. 技术实现框架
大数据平台架构
大数据库是未来提升业务能力的关键要素
以“大数据”为主导的新一波信息化浪潮正席卷全球,成为全球范围内加速企业技术创新、推动政府职能转变、引领社会管理变革的利器。目前,大数据技术已经从技术研究步入落地实施阶段,数据资源成为未来业务的关键因素。通过采集和分析数据,我们可以获知事物背后的原因,优化生产/生活方式,预知未来的发展动态。
经过多年的信息化建设,省地税已经积累了丰富的数据资源,为下一步的优化业务、提升管理水平,奠定了坚实的基础。
未来的数据和业务应用趋势,大数据才能解决这些问题。
《 v2》P12 “银行的大数据资产和应用“,说明税务数据和业务分析,需要用大数据解决。
《 v2》P14 “大数据与传统数据处理”,说明处理模式的差异。
大数据平台总体框架
大数据平台总体技术框架分为数据源层、数据接口层、平台架构层、分析
工具层和业务应用层。如下图所示:
(此图要修改,北明)
数据源层:包括各业务系统、服务系统以及社会其它单位的结构化数据和非结构化数据;
数据接口层:是原始数据进入大数据库的入口,针对不同类型的数据,需要有针对性地开发接口,进行数据的缓冲、预处理等操作;
平台架构层:基于大数据系统存储各类数据,进行 处理?;
分析工具层:提供各种数据分析工具,例如:建模工具、报表开发、数据分析、数据挖掘、可视化展现等工具;
业务应用层:根据应用领域和业务需求,建立分析模型,使用分析工具,发现获知事物背后的原因,预知未来的发展趋势,提出优化业务的方法。例如,寻找服务资源的最佳配置方案、发现业务流程中的短板进行优化等。
大数据平台产品选型
针对业务需求,我们选择巨杉数据库作为大数据基础平台。
传统数据库与大数据库的差异(丰富一下内容,说明应该选择大数据平台)
传统的关系型数据库,只能存储结构化数据,在当前互联网快速发展的时代,僵硬的数据模型已经无法适应快速开发、快速迭代的互联网思维。同时,越来越广阔的移动无线网络覆盖,不断提升的上网体验,人们的生活已经与网络连接起来,现在人们在互联网产生的数据,比较过去正在以几何倍数增长。
巨杉的产品框架()
巨杉的简要介绍。
产品框架下的组件的简要介绍,说明由哪些东西组成,实现哪些功能。
产品比较?(与类似产品的竞争优势?)
SequoiaDB作为一款拥有完全自主知识产权的文档型分布式数据库,天生具备高性能、高可用的特性。SequoiaDB采用分片技术为数据库提供横向扩展机制,这个分片过程对应用程序来说是透明的。分片分配数据跨越多个物理分区,每个分区也即分片。分片是为了替SequoiaDB 部署解决单台服务器硬件资源受限问题,如内存或者磁盘 I/O 瓶颈,不会增加应用程序复杂性。
SequoiaDB相比其他数据库的独有功能如下:
序号
功能点
1
灵活的数据类型
2
统一管理结构化数据及海量小文件
3
双存储引擎,简化系统架构
4
统一数据视图,实现冷、热数据物理分离
5
SequoiaDB支持读写分离,用户可以针对一份数据完成更多的业务处理
6
深度整合大数据体系的各个组件,如Spark/Hadoop
7
完善的运维、监控工具
8
SequoiaDB支持在线扩容,系统扩容升级快速简单
巨杉的特点?()
SequoiaDB不仅在性能上领先业界其他的非关系型数据库,对比其他数据库,SequoiaDB提供了非常多的独有功能:
灵活的数据类型
SequoiaDB采用文档类型数据模型(对象存储),将程序中的对象以原生的方式保存在数据库中,并且可以对其中而已属性或子对象进行检索匹配,可以大幅度弱化复杂的关系模型,加快应用的开发速度,并减少系统的运维成本。
灵活的数据类型
统一管理结构化数据和海量小文件
在过去,企业构建一个内容管理系统,基本是一个关系型数据库+存储这样的组合。这种构建方法,在过去数据量不大,并发数不高的情况下,系统还能运行得比较平稳。但是随着时间的推移,需要接入该系统的业务会越来越多,需要管理的文件和信息量都开始开始激增,并且随着查询的并发量增加,这时候,按照传统方法构建的系统,性能、扩容能力都无法满足需求。
SequoiaDB是一款以BSON数据类型作为底层存储格式的文档型数据库。
BSON格式本身是一种弱Schema的数据类型,一条BSON记录里面,可以包含各种类型的数据,如整型、字符型、浮点型和二进制类型的数据。用户可以利用BSON这种特性,将像图片,音频这种小文件以二进制类型放到一个B

最近更新