文档介绍：该【人大金仓 KingbaseES 数据库技术白皮书 】是由【1781111****】上传分享，文档一共【20】页，该文档可以免费在线阅读，需要了解更多关于【人大金仓 KingbaseES 数据库技术白皮书 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。:..金仓数据库管理系统技术白皮书金仓数据库管理系统技术白皮书北京人大金仓信息技术股份有限公司Beijing BaseSoft Information Technologies -11-118:49:37:..-11-118:49:37:..金仓数据库管理系统技术白皮书金仓数据库管理系统 KingbaseES V6技术白皮书北京人大金仓信息技术股份有限公司Beijing BaseSoft Information Technologies -11-118:49:38:..…………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………-11-118:49:38:..…………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………18硬件环境………………………………………………………………………………………………18软件环境……………………………………………………………………………………………………………………………………………………………………………………………………19硬件环境………………………………………………………………………………………………19软件环境………………………………………………………………………………………………19版权声明…………………………………………………………………………………-11-118:49:38:..“863”计划数据库重大专项和北京市科技计划重大项目支持下研发成功的具有自主知识产权的国产大型通用数据库管理系统(DBMS)。系统具有完整的大型通用数据库管理系统特征,提供完备的数据库管理功能,支持1000个以上并发用户、TB级数据量、GB级大对象。系统可运行于Windows、Linux、麒麟以及UNIX等多种操作系统平台,具有标准通用、稳定高效、安全可靠、兼容易用等特点。KingbaseES是国产数据库产品的典型代表。产品通过了众多权威机构严格的产品评测,获得2005年度国产数据库产品评测第一名和北京市科学技术奖一等奖。由张效祥、孙家广、倪光南等院士及数据库专家组成的鉴定委员会对该成果给予了高度评价,一致认为:其技术水平和实用性达到了国际先进、国内领先水平。产品已入选首批国家自主创新产品目录、北京市自主创新产品目录、海淀区政府采购自主创新产品目录以及中关村自主创新软件产品和服务政府推荐采购目录。KingbaseES在研发过程中始终坚持以技术突破为核心、以产品化为重点,通过实践切实掌握了大量DBMS核心技术,包括高安全技术、高可靠性技术、高性能技术等等,并在一些关键技术上实现了突破和创新。已申请发明专利4项、获得软件著作权6项,SQL语言标准符合性全面超过国外主流产品,TPC-C、TPC-W性能指标与国外主流产品相当,特别是KingbaseES安全版已通过公安部计算机信息系统安全产品质量监督检验中心测试认证,安全级别达到《GB/T20273-2006信息安全技术数据库管理系统安全技术要求》第三级(相当于TCSECB1级),并获得公安部计算机信息系统安全专用产品销售许可证。,遵循SQL等国际标准。KingbaseES系统由以关系数据库管理系统引擎为核心的一批软件模块构成,其产品组成如下图所示。产品结构图:高安全性高性能高可靠性易使用易管理内核功能数据访问接口用户手册多种身份认证SMP支持备份恢复SQL标准符合系统初始化工具核心功能KSYS联机丛书基于角色的并行查询双机热备主流DBMS兼容集成易用的PL/SQLKCI产品手册权限管理企业管理器安全审计TPC性能优化数据复制插件结构的丰富多样的作业调度ODBC数据迁移工具命令行工具储存加密64位计算数据库集***owerDesignerWeb管理工具全文检索JDBC插件通信加密跨库查询OLE DB Data Provider三权分立XML支持PHP接口安全版、企业安全版、企业版、Perl接口安全版特性版特性标准版特性OCI兼容备注:单机版在标准版基础上裁剪、-11-118:49:39:..。一个事务可以由一条或多条SQL语句构成。事务的提交状态可为自动提交或非自动提交。支持事务回滚,保证事务的完整性。支持各种数据类型支持字符串、数值、日期时间、布尔、位串、二进制串、大对象、XML、时间间隔等多种数据类型。提供丰富的内置函数提供字符串函数、数学函数、格式化函数、日期时间函数、聚集函数、管理函数等各种操作函数。提供完整性约束允许定义和实施实体完整性、参照完整性和用户定义完整性,防止数据库中存在不符合业务规则的数据,避免错误信息的输入和输出。支持视图支持视图的定义和使用,可以限制对表的行列子集的存取,为表提供额外的安全性;也可以简化用户操作或用于保存复杂查询。支持存储过程/函数支持过程化语言,结合SQL简单灵活、功能丰富的数据操作能力和过程化语言的控制能力。采用流程控制和SQL语句书写存储过程,若干个有联系的过程可以组合在一起构成程序包,既可以完成复杂的判断和较复杂的运算,又可以保证数据的安全和维护数据库的完整性。支持触发器支持DML操作语句触发的触发器,在插入、删除或更新特定表中的数据时触发执行,按照所触发动作的间隔尺寸可以分为语句级触发器和行级触发器,按照操作数据的粒度可以分为表级触发器和列级触发器。,采用成熟的关系数据库模型,支持SQL语言,提供多种符合标准的数据访问接口,适合各行业的应用需求。。支持SQL92的所有数据类型。。,支持Hibernate扩展,。提供符合OLEDB标准的OLEDB接口程序。-11-118:49:39:..DataProvider。提供符合PHP扩展规范的接口。提供符合Perl扩展规范的接口。提供兼容OracleOCI的数据访问接口。完善的应用开发支持、Beans、JBuilder、PowerBuilder、Delphi、C++Builder等流行的开发环境。支持WebSphere、WebLogic、JBoss、TomCat、东方通TongWeb、金蝶Apusic、中创InforWeb等主流的应用服务器。与国际主流数据库(Oracle、DB2、SQLServer等)高度兼容,开发人员容易复用以前开发其它数据库应用程序的经验,提高系统的可移植性,降低开发和移植的工作难度。提供PowerDesigner等数据库建模工具的插件,可以简化数据库设计和建模,方便数据库的移植和迁移。、硬件平台,底层的数据存储结构一致。通过一致的操作系统的抽象层,使得服务器可以支持多种操作系统。KingbaseES支持微软的Windows系列版本,支持各种主流的Linux发行版本,支持麒麟Kylin操作系统,支持AIX、HP-UX、Solaris等UNIX操作系统。KingbaseES的图形工具大多基于Java语言开发,可以跨平台工作,同一程序无需重新编译,将其执行代码拷贝到任一种操作系统平台上,都能直接运行。KingbaseES的所有产品组件采用统一的人机交互界面风格,提供图形和命令行等多种人机交互方式。KingbaseES支持多种网络环境。支持广域网环境,环境下的B/S结构。支持以TCP/IP网络协议为基础的网络环境。支持服务器与客户端在同一台计算机上的单机系统环境。,包括服务器、数据访问接口、工具集都支持国际通用的UNICODE字符集。KingbaseES支持GBK、GB18030国家标准,并通过了中国电子技术标准化研究所认证中心的GB18030符合性认证。KingbaseES支持服务器和数据访问接口使用不同的字符集设置。,每个服务器可以支持多个独立的数据库,用户可以动态创建数据库,每个数据库相对独立。KingbaseES支持的数据存储容量达到TB级,可以满足支持大型、海量数据的应用。系统支持海量数据的存储和管理功能,数据量达到TB级。支持多媒体数据类型。支持二进制大对象(BLOB)和字符大对象(CLOB),支持的单个大对象大小可达到2G。-11-118:49:39:..金仓数据库管理系统技术白皮书高效的海量数据压缩技术,在海量数据存储中有许多冗余信息。系统采取了数据紧缩技术来减少冗余信息,减少磁盘I/O吞吐量,提高性能。,数据交换能力已成为新的应用系统的一个重要需求。XML可以保证数据的可交换性,具有基于Schema自描述语义的功能,容易描述数据的语义并为计算机理解和自动处理;XML不仅可以描述结构化数据,还可有效描述半结构化甚至非结构化数据。KingbaseES支持XML数据类型,遵循SQL/XML等标准,将XML数据类型将作为数据库内核支持的基本数据类型,系统将为其提供标准的查询语言和操作函数,应用可以如访问传统的关系数据库数据类型(例如:字符类型、整数类型)一样,轻易实现对XML类型的数据的访问。KingbaseES还将支持把数据库中的数据发布为XML,也支持将外部的XML数据转换并存储到数据库中。,为在字符大对象和字符串数据中进行复杂的文本检索提供了有效的支持。文本查询完全在索引上进行,系统支持词库,用户可以定义、编辑自定义词语。系统功能包括:创建和删除全文索引更新全文索引全文检索用户可以在指定的文本列上建立和删除全文索引,也可以在全文检索的列上采用CONTAINS谓词进行全文检索。系统支持精确字词的查询或模糊查询,也支持多个查询词之间AND、OR、NOT等逻辑操作。全文检索条件可以位于SQL语言的WHERE子句中。,可与应用服务器配合使用,为Web应用提供良好的底层支持。KingbaseES提供了标准的JDBC接口,容易与Java应用服务器配合使用;DataProvider,平台一起提供Web应用支持。,支持多用户并发,并发用户数仅受限于系统资源和操作系统支持。并发控制是数据库管理系统(DBMS)的关键技术之一,它保证了多用户并发操作情况下数据库的一致性,也是衡量DBMS性能的重要指标之一。KingbaseES系统采用多版本并发控制技术()与传统的两阶段封锁技术(2PL)相结合的技术(MV2PL)来实现多个用户的并发控制。读写操作不再相互阻塞,读可以不加S锁,这样就大大提高了并发度。同时,KingbaseES使用回滚段技术来维护数据库元组的多个版本,即在数据库中只保留一个版本,该元组的其它版本都保留在回滚段中,定期启动后台进程回收无效元组所占用的空间。KingbaseES提供了数据库的行级和表级的资源封锁机制,大大提高了事务并发的能力。-11-118:49:39:..。KingbaseES提供了多种可以满足非常复杂环境的要求的查询处理技术。查询优化技术能计算最优的查询路径以提高查询的效率。主要的查询优化技术包括:基于代价的查询优化,以获得有效的数据访问。使用基于代价的优化,对于一个给定查询生成多个执行计划,并对每个计划计算估计代价。然后查询优化程序选择最佳计划,即估计代价最低的计划。此查询优化的过程对于应用程序和最终用户是完全透明的。KingbaseES的查询优化程序的代价模型准确而完整。SQL语句转换优化程序将用户编写的SQL语句转换成可以返回相同结果、但可以更有效地处理的SQL语句。通过大大减少需要扫描、连接或聚合的数据量来提高查询性能。执行计划选择执行计划描述了SQL处理的所有执行步骤,如访问表的顺序;如何将这些表连接在一起,以及是否通过索引来访问这些表等等。查询优化器通过评估可能的执行计划,选择代价最优的执行计划。代价评估模型评估这些执行计划的代价,并选择其中代价最低的计划,优化程序依赖于组成SQL语句执行的单独操作的代价评估。KingbaseES的代价评估模型利用了数据库对象的一系列统计信息,计算每个执行计划的代价。,KingbaseES采用了多种缓冲机制,减少系统的I/O次数,提高系统的运行效率。优化的数据库缓冲区数据的I/O一直是数据库性能的瓶颈之一,随着处理器速度的不断提高,这一问题变得更加突出。KingbaseES采用多种数据缓存技术将经常访问的数据保存在内存中来减少磁盘的访问次数,包括数据缓存、执行计划缓存、结果集缓存以及缓冲区封锁优化,缓冲区淘汰页面压缩技术等。执行计划的缓存KingbaseES提供了执行计划的缓存功能,对于相同的SQL语句或只是绑定变量不同的SQL语句,则可以实现执行计划的共享。这样对于复杂查询来说,在共享执行计划的情况下,可以提高系统的性能。结果集的缓存在许多互联网应用中,用户对信息的查询不需要保持实时的准确性,因此KingbaseES可以把查询的结果集缓存一段时间,这样在多用户并发的情况下可以共享同一个查询的结果集,从而提高系统的吞吐量。,-11-118:49:40:..仓数据库管理系统线程执行相应的SQL请求。虽然在现代的操作系统上,启动和停止一个线程的代价已经比较小,但是对于一个高负载的频繁连接、断开的OLTP应用而言,累计的开销也是很可观的。对于某些采用了三层结构的B/S应用而言,可以利用中间层的连接池来避免线程频繁启停的问题,对于采用二层结构的C/S应用,就较难在客户端使用线程池技术。服务器端的线程池不仅可以适用于那些没有采用客户端连接池的应用,也可以更好地优化其他类型的应用。服务器线程池中的服务线程可以在系统初始化时预先启动,在长时间不用时进行淘汰,以充分利用系统的资源。。SMP支持极大地提高了系统的伸缩性。通过允许服务器在单一机器上利用多个CPU,它能够最大限度地利用硬件资源。KingbaseES采用操作系统提供的高性能线程库,并针对SMP、多核、多CPU机器的特点优化数据库系统核心的并发控制机制、细粒度封锁和缓冲区管理机制,减少并发事务处理时服务线程之间的封锁冲突和维护缓冲区一致性的代价,使之更好地运行在具备多CPU、多核的高端服务器平台上。KingbaseES全面支持64位系统,支持主流的64位处理器和操作系统,并针对64位计算进行了优化。能够充分利用64位计算的优势,支持4G以上内存。,用于提高系统性能和海量数据处理能力。分区的基本思想是对大的数据集采用分而治之的策略,将其划分为多个相对较小的数据集,因此它比较适合于管理大规模的海量数据。DBA将可以通过DDL语句操纵一个个的分区,而应用程序仍然可以访问整个表(也可以直接访问分区),而不必考虑分区的存在。分区可以给系统带来多种好处,例如:提高系统的可用性DBA对一个大表进行数据整理、数据备份等维护性操作时,一般要持续很长时间才能完成。在此期间,应用要么不能访问这些表,要么访问的速度会受到很大的影响。在采用分区技术后,对整个大表的单个操作被分解为多个对分区的操作,缩短了每个操作的时间和对并发用户的影响。在采用分区之后,单个分区的损坏不会影响其他分区上的查询和操作。提高系统的性能在对表进行分区后,如果查询根本不需要访问某个或某些分区,则优化器完全可以根据查询条件和对分区信息的了解,不用去访问那些不必要的分区,从而提高查询的效率。在OLAP类的应用中,经常需要从表中访问大量的数据,设计合理的分区安排可以大大减少不必要的I/O。在某些情况下,如果查询需要访问多个分区,则系统可以进行并行的查询处理,为每个分区提供一个扫描线程,从而减少响应时间。,KingbaseES采用基于角色和权限的管理方法实现基本安全。并通过对权限管理、数据访问、存储、传输等方面的安全增强提高数据库的安全性。实现了三权分立、安全审计、强制访问控制等安全功能。-11-118:49:40:..品质量监督检验中心测试认证安全级别达到《GB/T20273-2006信息安全技术数据库管理系统安全技术要求》第三级(相当于TCSECB1级),并获得公安部计算机信息系统安全专用产品销售许可证。。将数据库管理与维护任务分为:系统管理与维护、安全管理与维护、安全审计。定义了系统管理员、安全管理员、安全审计员三类角色。每个角色只能执行相应的管理与维护任务,确保数据库管理权限的合理分配和使用,避免超级管理员权限的滥用。三权分立、各行其责、相互制约,避免来自内部的数据泄密。数据库安全审计KingbaseES配置了独立的安全审计系统,设置了专门用于存储数据库系统审计数据的安全审计库,设置了专门的安全审计员,对数据库和用户的行为进行监控与审计。安全审计员可以定义与数据库安全事件相关的审计事件。KingbaseES提供了供安全审计员使用的安全审计设置、分析和查询的工具。审计员可以分析审计信息,跟踪审计事件。。防止非法的用户未经授权的访问,避免数据泄密。身份验证KingbaseES根据用户名和口令确定该用户是否为数据库的合法用户。支持的口令管理功能包括:口令设置、口令复杂度检验、口令有效期限设置、口令更改历史纪录等。系统也提供基于操作系统等的外部身份验证。自主访问控制KingbaseES利用ACL(访问控制列表)列表实现自主访问控制。权限规定了用户和角色在数据对象上可以执行的操作,对用户和角色的存取权限的定义称为授权。当用户进行数据访问操作时,根据该用户以及其所属角色被授予的权限,决定是拒绝还是接受用户的操作。强制访问控制KingbaseES提供了基于标签的访问控制方式。强制访问控制主要是针对用户和元组而言。用户操作元组时,不仅要满足自主访问控制的权限要求,还要满足用户和元组之间安全等级标签的相容性,按照简单保密性原则——从下读、向上写,根据用户、元组的安全属性实现强制访问控制。强制访问控制的客体粒度达到元组级。KingbaseES建立了三权分立的安全模型,设置了独立的安全管理员,只有安全管理员才能进行安全标签操作,避免了权力权限全部由数据库管理员一人负责的局面,防止超级管理员的权力滥用。。保存在数据库中的信息经过加密,-11-118:49:40:..仓数据库管理系统据介质被非法窃取窃密者也无法获得有效的信息。KingbaseES在数据库内核进行加密处理,提高了数据库查询和加/解密速度。采用多级密钥体系KingbaseES对数据库存储的信息和各种配置信息实施加密保护和完整性保护,对加密所用的密钥采用多级密钥管理模式,以保证数据和密钥的安全性。采用经国家密码管理委员会办公室批准的加密算法。透明加密KingbaseES密钥的管理由加密系统自行完成,对用户透明,减轻用户的负担。数据项密钥在运行时生成,避免存储大量的数据项密钥。高效的带密检索数据加密与DBMS的查询优化优化机制相结合,尽可能减少数据加密对系统性能的影响。在数据库管理系统自身的查询优化策略中增加对加密代价的计算和处理,从而选出更合理的查询计划,减少加密对系统性能的影响。,支持SSL安全通信。通过SSL实现客户端和服务器之间的安全数据传输。使数据在传输过程中难以被窃听、篡改、重放、伪造。,避免系统故障导致的数据丢失或意外停机带来的额外损失。。通过使用备份与恢复工具,系统管理员可以对KingbaseES数据库进行备份与恢复。确保系统在出现系统崩溃、意外停机、存储介质损坏等故障时,能快速将数据库恢复到故障发生时的一致状态。可以通过日志实现基于时间点的恢复。KingbaseES支持如下的备份恢复方式:联机完全/增量备份脱机完全/,提供了基于共享磁盘的双机热备解决方案。保证系统7X24小时运行,提供不间断的数据库服务。双机热备技术采用共享磁盘的方式,数据被放在共享磁盘上,两台服务器同时运行,并通过集群监测软件互相监测运行状态。正常情况下,一台为工作服务器,一台为备份服务器,工作服务器拥有共享磁盘的数据访问权限并对外提供数据库服务,另一台处于备用状态。如果工作服务器发生故障,不能提供数据库服务时,备份服务器主动接管共享磁盘的访问权限,并继续对外提供服务,保证用户不间断的访问数据。故障服务器修复后,处于备份状态。-11-118:49:40:..。应用可以按照配置的备份周期和备份位置自动执行数据库的备份工作,提高了系统的可靠性,也减轻了系统的运行维护成本。,数据库集群由一台主服务器(Master)与多台从服务器(Slave)组成,在数据库服务器间使用数据库同步技术,写操作全部针对主数据库(通过重做日志,主服务器上的写操作可以迅速同步到从服务器上),读操作在多个