计算机科学 ›› 2015, Vol. 42 ›› Issue (Z6): 546-548.

• 软件工程与数据库技术 • 上一篇    下一篇

基于CDC机制的数据仓库实时数据更新方法研究

谭光玮,武彤   

  1. 贵州大学计算机科学与技术学院 贵阳550025,贵州大学计算机科学与技术学院 贵阳550025
  • 出版日期:2018-11-14 发布日期:2018-11-14
  • 基金资助:
    本文受贵州省自然科学基金项目:动态数据仓库的数据加载技术研究(黔科合J字[2013]2115号)资助

Study on Method of Data Warehouse Real-time Data Updating Based on Mechanism of CDC

TAN Guang-wei and WU Tong   

  • Online:2018-11-14 Published:2018-11-14

摘要: 分析了某特定应用系统的数据仓库实时决策需求,确定了需要实时更新到数据仓库的数据库表。对几种实时更新数据的方案进行了比较和权衡,经过综合考量,设计了使用基于读取和分析数据库日志的CDC机制来捕获变更数据,然后在数据加载程序中设定周期,循环地将捕获到的变更数据放入中间数据集并批量加载到数据仓库中的实时数据更新方案。该方案经过实验验证可以满足实时更新数据的需求,并且更新数据的过程不会影响源系统的事务处理,适用于此应用系统。

Abstract: This article analysed the real-time decision requirement of the data warehouse of a specific application system,identified database tables which need to be updated in real-time to data warehouse.Then compared several overall plan of real time data loading,after comprehensive consideration,we designed a method of real time data loading—using the CDC mechanism to acquire the changed data,and then circularly load the changed data to data warehouse via data loading program.After experimental verification,this method can meet the requirement of real time data loading,while doesn’t have much influence over the Database Transaction.So it’s suitable to be applied to the system.

Key words: Real-time data warehouse,Real-time updating,Changed data capture,Data loading

[1] 黄帆.对提高企业级数据仓库数据即时性的研究[D].上海:上海交通大学,2009:22-40
[2] Inmon W H.Building the data warehouse[M].New York:John Wiley&Sons,1996
[3] 杨乐.数据仓库中实时抽取机制的研究与实现[D].北京:北京邮电大学,2007:23-32
[4] 徐春艳.面向实时数据仓库的ETL研究[D].南京:南京航空航天大学,2007:18-35
[5] 肖裕洪.实时数据仓库关键技术的研究与实现[D].广州:华南理工大学,2011:13-20
[6] 徐富亮,周祖德.变化数据捕获技术研究[J].武汉理工大学学报:信息与管理工程版,2009,31(5):740-743
[7] 林子雨,杨冬青,宋国杰,等.实时主动数据仓库中的变化数据捕捉研究综述[J].计算机研究与发展,2007,4(23):447-451
[8] Shi Jin-gang,Bao Yu-bin,Leng Fang-ling,et al.Study on logbased change data capture and handling mechanism in real-time data warehouse[C]∥Proceedings of 2008 International Confe-rence on Computer Science and Software Engineering.Wuhan,2008:478-481
[9] 邹先霞,贾维嘉,潘久辉.基于数据库日志的变化数据捕获研究[J].小型微型计算机系统,2012,33(3):531-536
[10] 陈振.基于日志分析的SQL Server数据库变更数据捕获方法的研究与实现[D].广州:暨南大学,2010:23-46
[11] 舒琦.ETL过程优化与增量数据抽取的研究[D].长沙:湖南大学,2011:34-56
[12] Itamar Ankorion.Changed data capture-efficient ETL for real-time BI.http://www.dmreview.com/article_sub.cfm?articleId=1016326

No related articles found!
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
No Suggested Reading articles found!