文档介绍：该【北京金融信息化研究所：2024年金融业数据库创新发展报告 】是由【琥珀】上传分享，文档一共【103】页，该文档可以免费在线阅读，需要了解更多关于【北京金融信息化研究所：2024年金融业数据库创新发展报告 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。1?-e-??afg?'_?€bg??@ F?T?2024?10@ 金融业数据技术产品应用总体进展 3金融核心系统数据库实践经验不断沉淀 5大型金融机构率先开展创新,积累丰富实践经验 7中小金融机构紧跟迭代步伐,夯实数据库基础能力 32不断完善升级路径和方法论,为同业提供参考借鉴 43技术创新加速金融业数据库技术迭代升级 45生成式AI加速非关系型数据库发展 45软硬一体化降低数据库适配调优工作 48存算分离架构提升数据库扩展灵活性 51金融业数据库应用生态亟需进一步完善 53金融业数据库应用生态面临问题 53金融业数据库应用生态发展建议 57金融业数据库创新发展展望 61数据库创新应用的广度和深度显著提升 62数据库技术产品能力持续得到打磨优化 63高效灵活部署架构和迁移方案不断推出 65数据库创新应用生态将会逐步健全完善 66附录:金融业数据库优秀应用案例集数据库作为核心基础软件,是金融信息系统安全稳定运行的关键。近年来,金融业积极推动数据库的创新与应用,将安全可控的数据库技术产品广泛应用于各类金融业务系统,尤其在核心业务系统不断取得突破,为金融业加快推进数据库创新发展树立标杆、提供借鉴。一是集中式数据库在中小金融机构仍占据主导地位,而分布式数据库在大型金融机构的创新应用发挥重要作用。城商行、农商行及农信社等中小金融机构因为成本效益、运维复杂度或技术熟悉度等因素,更倾向于继续使用集中式数据库,其实例数占比仍有80,展现出不可替代的绝对优势。分布式数据库得益于高可用性、强大并发处理能力和灵活弹性扩展等特性,可以满足大体量业务系统对数据库处理能力和扩展性方面的要求,保持较好的增长趋势,在大型金融机构普遍应用于核心业务系统,表明分布式数据库在金融业的创新发展已经得到验证和认可,其在金融业中的地位和作用将进一步增强。未来,随着技术进步和金融业需求的不断变化,分布式数据库与集中式数据库将长期保持竞争和互补关系。二是非关系型数据库在金融业应用占比有所上升,但关系型数据库仍占据主导地位。这主要归功于关系型数据库的强大事务处理能力、稳定性能以及成熟技术体系,使其能够有效处理结构化数据并支持复杂查询,成为金融业使用最广泛的数据库类型。非关系型数据库包括NOSQL数据库、键值对数据库、文档数据库、图数据库、向量数据库和时序数据库等多种类型,在处理大数据及非结构化数据方面表现优异,能够满足金融业对海量非结构化数据的快速处理需求,特别在国有大行和股份制银行中,非关系型数据库的实例数占比已超过20,展示出金融机构在追求数据处理效率和灵活性方面的积极探索。随着金融业务的复杂化和数据类型的多样化,非关系型数据库的占比有望继续增长,而关系型数据库将继续发挥其在事务处理和结构化数据管理方面的优势。三是OLTP数据库依然占据重要地位,而OLAP和HTAP数据库的占比则呈现出上升趋势。OLTP数据库(联机事务处理)作为处理事务性工作负载的数据库系统,广泛应用于客户交易类、业务办理等场景,在金融业数据库实例中占比最高,达到65。OLAP数据库(联机分析处理)在决策支持和分析工作负载方面表现较好,常用于报表生成、数据分析等系统,其占比为21。随着金融数据量的不断增长以及数据处理需求的多样化,HTAP数据库(混合事务/分析处理)需求量有所上升,整体占比达到14。数据来源:金融信息化研究所图1金融业OLTP、OLAP、HTAP数据库实例数占比情况示意图四是云数据库产品在金融业应用取得显著成果。云数据库具备灵活可扩展、高可用性、高容灾性、自动化管理和成本集约等特性,在金融业应用逐步深入,实例数占比已达到44。其中,民营互联网银行云数据库实例数占比最高,达到令人瞩目的86,网商银行和微众银行基本全部使用云数据库;国有大行也在不同程度采用了云数据库,实例数占比达到54。在IT基础设施上云的趋势下,随着数据库软件架构升级不断进步与成熟,云数据库将在数字金融发展中发挥重要作用。核心系统是金融机构业务的关键组成部分,也是金融业信息化建设的核心和基础,基于其特殊性,业务及监管对系统都有极高标准的要求。核心系统要能够高效处理大量的交易数据,支持复杂的业务逻辑和流程,并迅速响应客户的各种需求,同时保持高度的稳定性、安全性,并具备卓越的性能和资金交易等业务的数字准确性和完整性。金融机构的核心系统早期都使用IOE架构,但随着业务的爆发式增长,该架构封闭的技术栈性能问题逐渐暴露,核心系统的数据库容量一般在10TB乃至100TB之间,数据库的运行压力逐步增大,并存在严重的供应链安全风险,一旦遇到问题将导致整个关键业务的瘫痪。为此,探索建立自主可控且稳定高效的金融核心系统迫在眉睫。大型金融机构采用分布式技术架构路线,基于PC服务器,使用分布式数据库,加快推动核心系统的转型升级,提升金融行业的自主可控水平。随着基础软硬件产品和技术的不断打磨和成熟,分布式架构已成为大型金融机构建设新一代核心系统的主流路线。而中小金融机构相比于大型金融机构,核心系统处理的交易量、架构复杂度相对较小,数据库技术和人员储备存在不足,核心系统数据库升级更加依赖数据库企业的能力,故其进展相对较慢,但也在对公信贷、会计核算等核心业务领域开展探索。为此,报告从核心业务考量、转型创新策略、技术路线选择、基础能力夯实等各方面,系统全面分析了银行业、证券期货业、保险业等不同类别、不同规模的金融机构,在核心系统领域的探索实践,并结合行业实践情况,总结提出核心系统数据库转型升级的方法论,为行业提供参考。大型金融机构率先开展创新,积累丰富实践经验大型金融机构积极贯彻落实国家科技创新发展战略,适应数字经济时代发展需求,根据自身发展定位、技术储备、业务特点等现实情况,按照分布式转型、核心验证、云化部署等路线,加快推动我国数据库技术产品在核心系统建设上的创新应用,不断开展核心系统数据库分布式架构转型升级,并朝着国产化、分布式、云原生的总体路线演进。建设银行采用先核心后外围的创新策略(一)发展策略建设银行数据库的升级迭代采用“先核心应用,后规模化推广”的策略,通过在核心系统创新实践我国数据库技术产品,完成了核心系统数据库分布式架构升级,自投产上线以来系统持续平稳运行,并将分布式数据库创新经验复制至其他系统,形成端到端的银行业信创解决方案,取得了一系列优秀创新实践成果,有力推动本行科技自立自强战略的落地实施。建设银行数据库创新主要经历三个主要阶段,每个阶段结合业务系统的改造,真试真用。第一阶段进行分布式数据库选型,通过建设银行的核心系统,真实的业务数据、交易和需求,进行全面的功能和非功能测试;第二阶段为核心系统试用阶段,用核心系统最高要求来检验我国数据库的技术指标,并积极推进关键指标的改进和完善,形成了一整套的我国数据库金融解决方案;第三阶段为规模化应用和创新,2022年启动小型机下移,进行我国数据库规模化应用,并针对金融规模化应用遇到的典型问题进行创新,包括Oracle迁移、数据库云化供给等。(二)面临问题无论是架构升级还是自身能力迭代演进,我国数据库技术产品的首要目标都是确保系统稳定可靠,升级过程平滑,且可分层解耦、风险可控。同时,作为基础软件的数据库,对应用系统的影响要尽可能做到最小,除了自身要提供完善的功能,还要对应用系统屏蔽自身的架构复杂度,让应用简单地使用数据库。我国数据库相比国外商业数据库的成熟时间较短,与国外商业数据库还存在一些差距。我国数据库技术产品需要进一步提升健壮性和稳定性。稳定性和可靠性对于建设银行的核心业务是第一位,在处理海量数据和复杂的查询请求时,需要具备平稳的服务能力和容错能力;在系统故障时能够快速恢复,确保任何节点的故障都不会给整个系统造成太大的影响,保证数据的安全性和完整性;提升版本稳定性,降低频繁版本迭代给应用带来的稳定性风险。分布式数据库资源需求高。相较于集中式数据库将所有数据存放在一个节点,分布式数据库将数据分布到多个独立的节点中,每个节点都有自己的计算和存储单元,如果每个节点占用一台物理服务器部署,叠加上数据副本占用的资源,集群整体资源成本会比较高。运维管理工具面临巨大的挑战。金融机构数据中心往往运行着多环境、多品牌、多架构、多版本的分布式数据库,加上分布式数据库自身运维管理复杂度高,其运维难度显著增加,在现有DBA人员规模情况下,数据中心的分布式数据库运维管理工作面临巨大挑战。需进一步降低节点切换和灾备切换时间。金融核心业务系统在业务连续性方面有着高标准要求,根据建设银行关键业务系统多活容灾建设需求,在满足亿级客户的数据存储以及并发访问等需求的基础上,需进一步缩短分布式数据库故障切换和灾难恢复时间,保障数据可靠性和业务连续性。亟需提升我国服务器和操作系统适配度。需要我国数据库技术产品能基本兼容主流的国产芯片与服务器、操作系统,同时可以多芯片混合部署,并在此基础上与国产芯片与服务器、操作系统深度适配,提升整体解决方案的性能和稳定性。(三)解决措施针对联机高并发交易、批量交易等多样化的业务场景需求,一方面需要推动我国数据库厂商不断提升自身产品的可靠性和稳定性,保障业务连续、安全、稳定运行。数据库技术发展和成熟,要依靠数据库技术和应用的深度结合,依靠数据库厂商和产业用户的深入协作,共同驱动数据库技术成熟。另一方面,建设银行本着应用业务逻辑依靠业务代码来完全实现,数据库回归到存储数据、处理数据的原本定位的原则,减少应用和数据库耦合的同时,也回归到更加纯粹的技术发展路线。配套打造完善的可视化、自动化和智能化的数据库管理以及配套的相关平台,提升我,大幅度降低我国数据库应用风险。提升我国数据库标准化应用能力。当前我国数据库产品成熟度还存在较大提升空间,因此,建设银行当前建设和产品选型仍然坚持多品牌的整体实施策略,避免形成对单一数据库技术和产品的绑定。同时,为了提高应用研发和改造效率,降低后续产品收敛替换的成本,需要在技术路线、研发标准方面进行统一约束规范,最大限度实现应用与数据库解耦。加强与数据库供应商密切协作,定义应用和数据库之间的标准接口,统一研发标准和规范,驱动数据库产业以标准化的方式快速发展。构建完善的数据库运维支持体系。成熟的数据库运维能力是我国分布式数据库在金融业大规模使用的重要前提,根据建设银行超大规模数据库集群的部署和运维需求,除了实现分布式数据库实例统一管理、快速部署和故障检测和恢复等能力外,还需要构建智能化管理能力,从数据管理、查询处理到运维诊断等维度实现数据库优化,实现一体化、智能化的全生命周期数据库服务与管控能力。提升应用SQL质量和数据库版本质量。在我国数据库稳定性方面,需要建设完善我国数据库SQL审核能力,围绕研发测试工作的重点流程与关键环节,提供SQL审核和检测能力。在