文档介绍：金融集团大数据分析平台总体架构 Page * 议程大数据分析平台综述 1大数据分析平台总体架构 2大数据分析平台演进路线 3大数据分析平台一期实施重点 4附录:数据质量管理平台 5 Page * 金融集团管理分析类应用建设现状基本分析关注的内容存在的问题基本的现状?商城数据仓库累积数据没有充分利用?缺乏面向整个金融集团的统一、完整的数据视图; ?缺乏支撑金融集团日常业务运转的风险评估体系; ?缺乏金融集团客户 360 度视图,客户行为分析和预测无法实现; ?缺乏面向金融业务运营管理的关键绩效指标体系; ?……?商城已建立面向整个零售业务的数据仓库,整合了前台业务运营数据和后台管理数据,建立了面向零售的管理分析应用; ?金融集团已开展供应链金融、人人贷和保理等多种业务,积累了一定量的业务数据,同时业务人员也从客户管理、风险评级和经营规模预测等方面,提出了大量分析预测需求; ?……数据平台、数据应用、数据管控……基础数据平台和 BI应用建设是未来一段时间的重点! ?数据平台整体架构; ?数据平台各层建设的标准; ?较成熟的金融业数据模型; ?数据质量治理; ?元数据管理; ?数据标准建设?数据整合; ?数据应用建设; ?数据平台的软硬环境?…… Page * 大数据分析平台建设目标外部非结构化数据统一制定目标和分析模型统一划分分析主题统一设计数据模式统一规划分析方法统一部署技术基础统一定义 BI 应用自定义报表工具行+列的简单定义方式多种格式报表集团决策层集团职能管控层各级业务操作层关注集团主要经营指标业务人员使用 BI应用实现业务协作和创新 BI 分析工具供应链金融系统 POP 系统其他业务系统云数据推送平台已实现了主要零售及金融业务系统数据清洗、整合,为未来金融集团数据平台提供了丰富的数据源。通过数据平台和 BI应用建设,金融集团将搭建统一的大数据共享和分析平台,对各类业务进行前瞻性预测及分析,为集团各层次用户提供统一的决策分析支持, 提升数据共享与流转能力采购管理系统查看职能部门的业务经营情况 Page * 大数据分析平台建设预期收益、人人贷、保理等各个业务系统中的数据在数据平台中的集中和整合,建立单一的产品、客户等数据的企业级视图,有效促进业务的集成和协作,并为企业级分析、交叉销售提供基础、可信的数据,进行多维分析和数据挖掘, 为金融业务创新(客户服务创新、产品创新等)创造了有利条件 ,为管理分析、挖掘预测类等系统提供一致的数据基础,改变现有系统数据来源多、数据处理复杂的现状,实现应用系统建设模式的转变,提升相关 IT系统的建设和运行效率 ,数据仓库对金融集团分散在各个业务系统中的数据整合、清洗,有助于企业整体数据质量的改善,提高的数据的实用性通过数据平台实现数据集中, 确保金融集团各级部门均可在保证数据隐私和安全的前提下使用数据,充分发挥数据作为企业重要资产的业务价值 Page * 议程大数据分析平台综述 1大数据分析平台总体架构 2大数据分析平台演进路线 3大数据分析平台一期实施重点 4附录:数据质量管理平台 5 Page * 大数据分析平台总体架构——数据产生层?内部业务系统产生的结构化数据?商城日常零售业务处理过程中产生的结构化数据,存储在关系型数据库中,如:供应商信息、采购信息、商品信息、销售流水……?金融集团日常业务处理过程中产生的结构化数据,存储在关系型数据库中,如:客户信息、账户信息、金融产品信息、交易流水……?企业内部非结构化数据?日常业务处理过程中产生的非结构化数据,存储形式多样,主要包括用户访问日志、用户投诉、用户点评……?企业外部数据?企业外部数据以非结构化为主,主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交媒体信息……源数据内容?在本次项目实施中将采用以增量为主、全量为辅结合的方式获取源数据?商城和金融集团业务系统的数据?增量数据识别、获取由云数据推送平台负责, 云数据推送平台采用分析、对比源系统日志方式实现?对于无法通过上述方式获取增量的源系统数据,则采用某一个时间范围内的全部数据作为增量?初始数据加载均采用全量模式源数据增量 Page * 大数据分析平台总体架构——数据交换层数据交换层设计目标传输组件是根据数据源存储的不同分类而设计的,本质是通过分析数据存储结构和数据存储库的特点来针对性的设计工具,以追求卓越的性能保证数据在平台内高速流转保证数据交换过程中不失真保证数据交换过程中不丢失保证数据交换过程安全可靠数据区数据交换组件数据库数据交换组件大数据交换组件金融集团系统数据服务层外部大