文档介绍：膅蒀羇***芅袁虿羆莅节***<26/04/2010薇<>蚄SQLSERVERCDC增量数据抽取方案拟制芁刘建军,聿芆螄蚂螁肅螄肃膈肈袄腿袀袆羄目录薀1、概述 、需求概述 、场景分析 4肄2、依赖关系 5羁3、服务方案 、报表服务方案 14芃螃芀膆莃羀蚈羅莃莁蒀肈蒃螂袇螇薃膂1、、需求概述薅本文档的主要目的是提出和测试报表服务实现,来提高Q3系统的报表统计性能。蚃该服务方案主要参考ERP报表服务方案,并结合Q3系统与SQLServer2008数据库的特点来实现,并尽量统一规划以提高该方案的兼容性。、场景分析肇报表服务需要将要进行统计、分析的数据库某一业务相关数据在一段时间内的变化(增量数据),同步到报表服务中间库,并将统计结果报表同步更新,这就需要:薈报表中间库转储和引用业务库对象。螃同一数据库实例上不同数据库或分布式数据库的变更数据捕捉蚀获得数据增量、并根据增量形成增量报表数据同步报表中间库。蝿或直接同步报表中间库。莇业务执行的唯一性。袂抽取日志的记录的记录。肁增量数据日志记录清除。蒁同步异常记录。膆羂2、依赖关系蒂Q3系统采用SQLServer2008数据库,并且该版本数据库提供了CDC(changedatacapture)捕获变更数据的方法,并且提供了同义词和数据库级应用锁功能,结合排序函数,为在数据库级别上实现与ERP类似的报表服务提供了可能。罿3、,要满足如下功能性和非功能性要求。袃业务数据增量抽取。蚁增量数据合并(算法最优)。羈增量抽取数据的准确性和有效性。肂数据抽取执行线程并发控制唯一性和入口统一性(采用数据库级应用锁并需要进行封装,提供与ERP一致的入口)。肀跨数据库或分布式数据库的抽取实现(链接服务器)。聿数据同步路径最短、同步效率最高(根据业务数据量和业务的复杂性分别采用不同的数据同步方式)。(changedatacapture):   蒁CDC为数据仓库常用技术手段,是当对数据库执行insert、update、delete操作的时候,捕获变更数据的方法。袀CDC的原理是每次对源表(SourceTables)执行增删改操作时,数据库事务日志会记录该DML操作造成的变更数据,然后捕获处理过程将日志中源表的变更数据写入变更捕获表(ChangeTables).蒆使用步骤:薆通过SQLServer配置管理器(SQLServerManagementStudio、服务),启用数据库的SQLServerAgent代理服务。袁执行存储过程,启用了数据库的CDC特性。,对数据库中某一表启用CDC特性。***@source_schema=N'dbo'羀,***@source_name=N'test'芇,***@role_name=N'cdc_admin'蚆,***@capture_instance=N'test_cdc1'蚃,@_changes=1蒈,***@index_name=N'PK_test'肆,***@captured_column_list=N'col1,col2,col3'螆,***@filegroup_name=N'PRIMARY';螀系统自动在系统表下建立对应变更捕获表,变更捕获表的命名规则是cdc.+实例名+$operation代表的是执行的是何种DML,1=delete,2=insert,3=update(更新前),4=update(更新后)膀系统建立了其他多个关于CDC函数和过程,其中涉及报表相关过程与函数:(LSN)。您可以使用此函数为任何捕获实例返回变更数据捕获时间线的高端点。:。羅自动清理:在启用数据库CDC时,系统自动在SQLServerAgent中加入每日清除变更数据的作业。作业自动执行清理变更数据过程。薂停用CDC存储过程用于停用CDC实例。***@source_schema=N'dbo