文档介绍：甘肃银行历史数据及应用管理方案介绍甘肃银行2016年7月目录1我行历史数据应用与管理方案与架构23历史数据平台与ODS功能定位历史数据应用与管理面临的问题与挑战*银行对历史数据管理的需求业务需求直观地搜索企业95%的信息经营报表历史查询客户历史账单查询Fast,easysearchAlignbusiness,legalandITneedsIT需求数据查询数据备份数据归档数据仓库系统数据法规需求把更多的电子发现工作留在企业内部审计合规检查监管报送实行保留策略和法律存(LegalHold)出于法规相关或特权查阅信息如何优化存储控制成本怎样保证可靠性和性能怎样归档管理留存信息,保证无篡改,无丢失,满足未来需求的格式怎样提高响应时间或者确保良好的响应时间IT部门需要面临的问题如何保证完整的保留信息怎样有效灵活的统计,方便快速的查询防止信息泄露与审查方法来自业务需求的挑战满足银行各部门对信息风险监管的高弹性、健壮性、高性能需求?合规审查保留审计各部门对数据的问题与挑战提高响应时间或者确保良好的响应时间*IT部门对历史数据面临的与挑战*趋势挑战信息数据的海量增长IT预算的紧缩数据存储的需求大于IT预算不断增长的数据使用需求数据应用频繁信息无处不在内部数据丢失问题日益严重数据要求严格、数据存储时间长严格的数据管理安全的数据完整性和可用性。信息的审计和法规遵从信息难以审计信息统一法规遵从的挑战目录我行历史数据应用与管理方案与架构3历史数据平台与ODS功能定位历史数据应用与管理面临的问题与挑战21分析系统&业务系统区别历史数据平台&ODS功能定位历史数据平台系统ODS系统系统定位1用于交易明细查询,非结构化数据存储查询等2分流交易系统明细数据查询压力1业务指标,(柜员)2客服中心(客服)3网上银行(客户)4手机银行等渠道(客户)1业务管理层(报表平台)2企业管理层(高管驾驶仓)3下游数据消费系统(数据交换平台)响应能力1高并发,高可用1批量,独占资源保存期限长期存在,3年以上1接口文件保存13个月2加工汇总后数据长期保存优点1保留数据的原样性2满足了数据的管理要求1突出数据的统一性2满足了数据的应用要求OLTP&ODS数据结构对比OLTP&OLAP系统对比比较项目OLTP(联机事务处理)OLAP(联机分析处理)ODSDW建设目的业务操作,事务处理事务处理,短时分析决策支持,分析功能服务对象生产层业务管理层企业管理层存储周期即时短期长期处理频率实时准实时(T+1)非实时数据容量小小非常大功能结构分散相对集中集中数据类型明细数据明细数据明细数据,汇总数据面向用户操作人员,低层管理人员业务管理人员决策人员,高级管理人员访问方式实时访问(增,删,改,查)准实时(增,删,改,查)非实时(主要是读操作)数据处理量100MB-GB100GB-TB100GB-TB数据简单的事务(处理的数据量小)复杂的查询(数据量大)复杂的查询(数据量大)