文档介绍：甘肃银行甘肃银行历史数据及应用管理方案介绍甘肃银行2016年7月目录甘银行历史数据应用与管理面临的问题与挑战历史数据平台与ODS功能定位3我行历史数据应用与管理方案与架构银行对历史数据管理的需求9甘银行业务需求IT需求法规需求经营报表数据查询审计·历史查询数据备份合规检查数据归档·监管报送客户历史账单查询·数据仓库系统各部门对数据的问题与挑战③甘肃银行来自业务需求的挑战部门需要面临的问题如何保证完整的保留信息如何优化存储控制成本怎样有效灵活的统计,怎样保证可靠性和性能方便快速的査询怎样归档管理留存信息,防止信息泄露与审查方保证无篡改,无丢失,满足未来需求的格式怎样提高响应时间或者确保良好的响应时间合规审查保留审计满足银行各部门对信息风险益管的高弹性、健壮性、高性能需求?T部门对历史数据面临的与挑战③甘肃银行趋势挑战信息数据的海量增长厂T预算的紧缩数据存的需求大于T预算不断增长的数据使用需求信息无处不在数据应用频繁内部数据丢失问题日益严重数据要求严榕、严格的数据管理数据存储时间长安全的数据完整性和可用性信息的审计和法规遵从信息难以审计信息统一法规遵从的挑线目录甘银行①历史数据应用与管理面临的问题与挑战2历史数据平台与ODS功能定位我行历史数据应用与管理方案与架构分析系统&业务系统区别甘银行业务系统分析系统交易业务需求分析简单查询复杂当前时间限制历史业务问题未知静态业务环境动态历史数据平台&ODS功能定位$甘银行历史数据平台系统ODs系统系统定位1用于交易明细查询非结构化数据存1业务指标,(柜员)1业务管理层(报表平台)2客服中心(客服2企业管理层(高管驾驶仓)面向用户3网上银行(客户)3下游数据消费系统(数据交4手机银行等渠道(客户换平台)响应能力1高并发,高可用1批量,独占资源保存期限长期存在,3年以上1接口文件保存13个月2加工汇总后数据长期保存优点1保留数据的原样性1突出数据的统一性2满足了数据的管理要求2满足了数据的应用要求OLTP&ODS数据结构对比甘肃银行口本质上,采用ODS实现查询和报表是一种空间换时间和性能的方式口ODs采用类似OLTP的数据库结构,但是需要进行适度的非范式处理;口ODS最好与OLTP分开存储,使用不同的DBInstance,使用不同的IO带宽,安装在单独的服务器上口使用ETL工具进行数据迁移;OLTPDB使用数据库复制或ETL工具进行数据迁移OLTP&OLAP系统对比s甘肃银行比较项目OLAP(联机分析处理)oLTP(联机事务处理)建设目的业务操作,事务处理事务处理,短时分析决策支持,分析功能服务对象产层业务管理层企业管理层存储周期长期处理频率准实时(T+1)非实时数据容量小非常大功能结构分散相对集中集中数据类型明细数据明细数据明细数据,汇总数据面向用户操作人员,低层管理人员业务管理人员决策人员,高级管理人员访问方式实时访问(增,删,改,查)淮实时(增,删,改,查)非实时(主要是读操作数据处理100GB-TB0OGB-TB数据简单的事务(处理的数据量小)复杂的查询(数据量大)复杂的查询(数据量大)个是OLTP型的,保存处理在线交易数据个是ODS型的,保存/处理与大规模数据统计查询作业相关的数据;个是DW型的,保存长期的历史数据,用于决策支持/数据挖掘等用途。