计算机科学 ›› 2019, Vol. 46 ›› Issue (6A): 412-416.

• 大数据与数据挖掘 • 上一篇    下一篇

系统数据迁移常见问题及案例分析

陆叶杉   

  1. 广西大学计算机与电子信息学院 南宁530001
  • 出版日期:2019-06-14 发布日期:2019-07-02
  • 通讯作者: 陆叶杉(1992-),女,硕士生,工程师,主要研究方向为网络信息安全技术,E-mail:2797683890@qq.com(通信作者)。

Common Issues and Case Analysis of System Data Migration

LU Ye-shan   

  1. School of Computer and Electronic Information,Guangxi University,Nanning 530001,China
  • Online:2019-06-14 Published:2019-07-02

摘要: 社会发展日趋进步,技术框架日新月异,日常系统以新换旧已经成为趋势,新系统代替旧系统势必会涉及到新旧系统的数据对接问题。在某市某组织的系统建设中,项目需要将旧系统的所有业务数据迁移到新系统。由于新旧系统使用的表空间、表结构及表字段都不一致,为了保证数据的一致性与完整性、迁移前后的数据没有漏误、不迁入脏数据来影响新系统的运行,在项目中如何在新旧系统之间进行数据迁移成为了重要课题。为了解决数据迁移的问题,文中设计了一套基于ETL工具的数据迁移流程,并通过组合和串联得到了完整的数据迁移流程线,从而实现了数据迁移,完成了新旧系统的数据对接。文中阐述了以下几个数据在迁移中出现的问题及其解决方法:1)数据流转中出现的常见错误及解决方法;2)数据类型不一致的数据迁移问题及解决方法;3)数据迁移目标数据库字段长度不一致的问题及解决方法;4)数据迁移完成后,原数据出现新变动将如何重新调整迁移测量的问题及解决方法。基于此,文中对数据迁移过程中出现的问题与解决这些问题的方法进行了简要的分析与总结。

关键词: ETL工具, SQL语句, 数据流转, 数据迁移

Abstract: With the development of society and the rapid change of technical framework,it has become a trend for the daily system to replace the old system with the new one.The replacement of the old system with the new system will inevitably involve the data docking between the old system and the new system.In the system construction of an organization in a city,the project needs to migrate all business data of the old system to the new system.Due to the inconsistency of table space,table structure and table field between the old and new systems,in order to ensure the consistency and integrity of data,ensure that data before and after migration is not missing,and ensure that dirty data does not migrate to affect the operation of the new system,how to migrate data between the old and new systems has become a top priority in the project.In order to solve the problem of data migration,this paper designs a data migration process based on ETL tools,and obtains a complete data migration process line through combination and series connection,thus realizing data migration to complete data docking between old and new systems.This paper elaborates the following problems and solutions for data migration:1)Common errors and solutions in data flow.2)Data migration problems and solutions with inconsistent data types.3)Inconsistent length of field in target database of data migration and solutions.4)How to re-change the original data when data migration is completed Problems and solutions of adjusting migration measurement.Based on this,this paper makes a brief analysis and summary of the problems in the process of data migration and the countermeasures to solve these problems.

Key words: Data migration, Data transfer, ETL tools, SQL statement

中图分类号: 

  • TP311
[1]亓开元,赵卓峰,房俊,等.针对高速数据流的大规模数据实时处理方法.计算机学报,2012,35(3):477-490.
董媛香.基于软集合的不完备不一致数据分析及决策方法研究.重庆:重庆大学,2014:18.
郭迟,刘经南,方媛,等.位置大数据的价值提取与协同挖掘方法.软件学报,2014,25(4):713-730.
张晓冉,舒昝.面向ETL数据处理过程的优化研究.自动化与仪器仪表,2016(7):109-110,109.
李云松.小微企业数据整合中ETL工具Kettle的应用.菏泽学院学报,2014,36(2):19-22.
金翰伟.基于Spark的大数据清洗框架设计与实现.杭州:浙江大学,2016.
郭志懋,周傲英.数据质量和数据清洗研究综述.软件学报,2002(11):2076-2082.
王元卓,靳小龙,程学旗.网络大数据:现状与展望.计算机学报,2013,36(6):1125-1138.
张宁,贾自艳,史忠植.数据仓库中ETL技术的研究.计算机工程与应用,2002(24):213-216.
伍江瑶.广东电网数据回流系统ETL的设计与实现.自动化与仪器仪表,2017(6):80-83.
张瑞.ETL数据抽取研究综述.软件导刊,2010,9(10):164-165.
徐俊刚,裴莹.数据ETL研究综述.计算机科学,2011,38(4):15-20.
车燕京,张月清,韩宪忠.ETL转换功能的设计与实现.河北农业大学学报,2010,33(3):132-135.
章水鑫,徐宏炳,于立.增量式ETL工具的研究与实现.现代计算机(专业版),2005(3):6-10.
[1] 曹合心, 赵亮, 李雪峰.
图神经网络在Text-to-SQL解析中的技术研究
Technical Research of Graph Neural Network for Text-to-SQL Parsing
计算机科学, 2022, 49(4): 110-115. https://doi.org/10.11896/jsjkx.210200173
[2] 章勇,张洁卉,柳斌.
全局负载均衡下云环境中的大数据动态迁移方法
Big Data Dynamic Migration Method Based on Global Load Balancing in Cloud Environment
计算机科学, 2018, 45(1): 196-199. https://doi.org/10.11896/j.issn.1002-137X.2018.01.034
[3] 张武能,李宏伟,沈立炜,赵文耘.
面向数据库模式变更的代码演化推荐方法
Method of Code Evolution Recommendation for Database Schema Change
计算机科学, 2016, 43(2): 216-223. https://doi.org/10.11896/j.issn.1002-137X.2016.02.046
[4] 施光源,张宇.
基于多属性度量的数据分级访问模型研究
Hierarchical Storage Access Model Based on Multi-Attributes Measurement
计算机科学, 2013, 40(Z11): 165-169.
[5] 郑胜,李通.
一种应用于大规模存储系统的数据分布算法
Data Placement Algorithm for Large-scale Storage System
计算机科学, 2013, 40(Z11): 270-273.
[6] 罗香玉,汪芸,陈笑梅.
存储系统负载平衡机制的评价与分析
Evaluation and Analysis of Load Balancing Mechanisms in Storage Systems
计算机科学, 2013, 40(9): 55-60.
[7] 何晓行,王剑虹.
云计算环境下的取证问题研究
Research on Evidence Collection under Cloud Computing Environment
计算机科学, 2012, 39(9): 105-108.
[8] 葛雄资,冯丹,陆承涛,金超.
绿色网络存储系统的动力学分析模型
Dynamic Analysis Model of Green Network Storage Systems
计算机科学, 2011, 38(8): 291-296.
[9] 刘科,秦磊华,周敬利,聂雪军,曾东.
内容感知存储系统中的两阶段检索策略
Two-phrase Retrieval Strategy in Content Aware Network Storage System
计算机科学, 2011, 38(5): 20-23.
[10] 丁晓宁 朱怡安 等.
自动并行化与数据自动迁移

计算机科学, 2001, 28(11): 22-25.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
No Suggested Reading articles found!