计算机科学 ›› 2015, Vol. 42 ›› Issue (Z6): 546-548.
谭光玮,武彤
TAN Guang-wei and WU Tong
摘要: 分析了某特定应用系统的数据仓库实时决策需求,确定了需要实时更新到数据仓库的数据库表。对几种实时更新数据的方案进行了比较和权衡,经过综合考量,设计了使用基于读取和分析数据库日志的CDC机制来捕获变更数据,然后在数据加载程序中设定周期,循环地将捕获到的变更数据放入中间数据集并批量加载到数据仓库中的实时数据更新方案。该方案经过实验验证可以满足实时更新数据的需求,并且更新数据的过程不会影响源系统的事务处理,适用于此应用系统。
[1] 黄帆.对提高企业级数据仓库数据即时性的研究[D].上海:上海交通大学,2009:22-40 [2] Inmon W H.Building the data warehouse[M].New York:John Wiley&Sons,1996 [3] 杨乐.数据仓库中实时抽取机制的研究与实现[D].北京:北京邮电大学,2007:23-32 [4] 徐春艳.面向实时数据仓库的ETL研究[D].南京:南京航空航天大学,2007:18-35 [5] 肖裕洪.实时数据仓库关键技术的研究与实现[D].广州:华南理工大学,2011:13-20 [6] 徐富亮,周祖德.变化数据捕获技术研究[J].武汉理工大学学报:信息与管理工程版,2009,31(5):740-743 [7] 林子雨,杨冬青,宋国杰,等.实时主动数据仓库中的变化数据捕捉研究综述[J].计算机研究与发展,2007,4(23):447-451 [8] Shi Jin-gang,Bao Yu-bin,Leng Fang-ling,et al.Study on logbased change data capture and handling mechanism in real-time data warehouse[C]∥Proceedings of 2008 International Confe-rence on Computer Science and Software Engineering.Wuhan,2008:478-481 [9] 邹先霞,贾维嘉,潘久辉.基于数据库日志的变化数据捕获研究[J].小型微型计算机系统,2012,33(3):531-536 [10] 陈振.基于日志分析的SQL Server数据库变更数据捕获方法的研究与实现[D].广州:暨南大学,2010:23-46 [11] 舒琦.ETL过程优化与增量数据抽取的研究[D].长沙:湖南大学,2011:34-56 [12] Itamar Ankorion.Changed data capture-efficient ETL for real-time BI.http://www.dmreview.com/article_sub.cfm?articleId=1016326 |
No related articles found! |
|