计算机科学 ›› 2019, Vol. 46 ›› Issue (6A): 412-416.
陆叶杉
LU Ye-shan
摘要: 社会发展日趋进步,技术框架日新月异,日常系统以新换旧已经成为趋势,新系统代替旧系统势必会涉及到新旧系统的数据对接问题。在某市某组织的系统建设中,项目需要将旧系统的所有业务数据迁移到新系统。由于新旧系统使用的表空间、表结构及表字段都不一致,为了保证数据的一致性与完整性、迁移前后的数据没有漏误、不迁入脏数据来影响新系统的运行,在项目中如何在新旧系统之间进行数据迁移成为了重要课题。为了解决数据迁移的问题,文中设计了一套基于ETL工具的数据迁移流程,并通过组合和串联得到了完整的数据迁移流程线,从而实现了数据迁移,完成了新旧系统的数据对接。文中阐述了以下几个数据在迁移中出现的问题及其解决方法:1)数据流转中出现的常见错误及解决方法;2)数据类型不一致的数据迁移问题及解决方法;3)数据迁移目标数据库字段长度不一致的问题及解决方法;4)数据迁移完成后,原数据出现新变动将如何重新调整迁移测量的问题及解决方法。基于此,文中对数据迁移过程中出现的问题与解决这些问题的方法进行了简要的分析与总结。
中图分类号:
[1]亓开元,赵卓峰,房俊,等.针对高速数据流的大规模数据实时处理方法.计算机学报,2012,35(3):477-490. 董媛香.基于软集合的不完备不一致数据分析及决策方法研究.重庆:重庆大学,2014:18. 郭迟,刘经南,方媛,等.位置大数据的价值提取与协同挖掘方法.软件学报,2014,25(4):713-730. 张晓冉,舒昝.面向ETL数据处理过程的优化研究.自动化与仪器仪表,2016(7):109-110,109. 李云松.小微企业数据整合中ETL工具Kettle的应用.菏泽学院学报,2014,36(2):19-22. 金翰伟.基于Spark的大数据清洗框架设计与实现.杭州:浙江大学,2016. 郭志懋,周傲英.数据质量和数据清洗研究综述.软件学报,2002(11):2076-2082. 王元卓,靳小龙,程学旗.网络大数据:现状与展望.计算机学报,2013,36(6):1125-1138. 张宁,贾自艳,史忠植.数据仓库中ETL技术的研究.计算机工程与应用,2002(24):213-216. 伍江瑶.广东电网数据回流系统ETL的设计与实现.自动化与仪器仪表,2017(6):80-83. 张瑞.ETL数据抽取研究综述.软件导刊,2010,9(10):164-165. 徐俊刚,裴莹.数据ETL研究综述.计算机科学,2011,38(4):15-20. 车燕京,张月清,韩宪忠.ETL转换功能的设计与实现.河北农业大学学报,2010,33(3):132-135. 章水鑫,徐宏炳,于立.增量式ETL工具的研究与实现.现代计算机(专业版),2005(3):6-10. |
[1] | 曹合心, 赵亮, 李雪峰. 图神经网络在Text-to-SQL解析中的技术研究 Technical Research of Graph Neural Network for Text-to-SQL Parsing 计算机科学, 2022, 49(4): 110-115. https://doi.org/10.11896/jsjkx.210200173 |
[2] | 章勇,张洁卉,柳斌. 全局负载均衡下云环境中的大数据动态迁移方法 Big Data Dynamic Migration Method Based on Global Load Balancing in Cloud Environment 计算机科学, 2018, 45(1): 196-199. https://doi.org/10.11896/j.issn.1002-137X.2018.01.034 |
[3] | 张武能,李宏伟,沈立炜,赵文耘. 面向数据库模式变更的代码演化推荐方法 Method of Code Evolution Recommendation for Database Schema Change 计算机科学, 2016, 43(2): 216-223. https://doi.org/10.11896/j.issn.1002-137X.2016.02.046 |
[4] | 施光源,张宇. 基于多属性度量的数据分级访问模型研究 Hierarchical Storage Access Model Based on Multi-Attributes Measurement 计算机科学, 2013, 40(Z11): 165-169. |
[5] | 郑胜,李通. 一种应用于大规模存储系统的数据分布算法 Data Placement Algorithm for Large-scale Storage System 计算机科学, 2013, 40(Z11): 270-273. |
[6] | 罗香玉,汪芸,陈笑梅. 存储系统负载平衡机制的评价与分析 Evaluation and Analysis of Load Balancing Mechanisms in Storage Systems 计算机科学, 2013, 40(9): 55-60. |
[7] | 何晓行,王剑虹. 云计算环境下的取证问题研究 Research on Evidence Collection under Cloud Computing Environment 计算机科学, 2012, 39(9): 105-108. |
[8] | 葛雄资,冯丹,陆承涛,金超. 绿色网络存储系统的动力学分析模型 Dynamic Analysis Model of Green Network Storage Systems 计算机科学, 2011, 38(8): 291-296. |
[9] | 刘科,秦磊华,周敬利,聂雪军,曾东. 内容感知存储系统中的两阶段检索策略 Two-phrase Retrieval Strategy in Content Aware Network Storage System 计算机科学, 2011, 38(5): 20-23. |
[10] | 丁晓宁 朱怡安 等. 自动并行化与数据自动迁移 计算机科学, 2001, 28(11): 22-25. |
|