Datakit数据迁移实践简介
发表于 2023/12/11
0
尊敬的openGauss开发者你好,为了降低openGauss数据库的使用门槛,帮助开发者更好地进行数据迁移,鲲鹏提供了Datakit工具,帮助开发者更便捷地将MySQL迁移到openGauss,您可以通过本课程的学习来完成数据迁移的全流程。
本文主要介绍了以下知识:
(1)Datakit工具的作用和功能
(2)如何搭建Datakit迁移环境
(3)如何通过Datakit工具完成MySQL到openGauss的数据迁移
Datakit简介
1. 什么是Datakit
DataKit是openGauss的一个工具集,定位为openGauss的数据全生命周期生产力工具,支持数据全生命管理,其采用B/S(即Browser/Server, 浏览器/服务器)软件架构,提供基础的服务器、数据库实例等软硬件资源管理,同时支持通过按需部署功能插件扩展能力,目前社区提供安装部署、数据开发、智能运维、数据迁移等功能插件。
2. Datakit提供的迁移能力
数据迁移插件提供了MySQL迁移所需的所有能力,包括:
对象迁移:支持将MySQL的数据库对象,包括:表、索引、约束、视图、存储过程、函数、触发器等,迁移到openGauss。
a. 全量数据迁移:支持将MySQL全量数据并发迁移到openGauss。
b. 增量数据迁移:通过读取MySQL侧的BinLog并转化成SQL语句在openGauss侧回放,支持事务级并行回放,保证事务一致性。
c. 全量数据校验:针对源DB和目标DB的全量数据,以表为单位进行校验,找出差异记录,给出修复建议,输出校验报告。
d. 增量数据校验:周期从源DB的日志中提取增量数据,并回查源DB和目的DB获取完整记录进行校验,找出差异记录,给出修复建议,输出校验报告。
e. 反向迁移:支持将openGauss上所有的变更数据实时反向同步至MySQL,作为一种数据逃生的通道,实现在异常情况下业务快速回退。
f. 数据迁移插件支持设定迁移任务,任务根据用户设定的执行计划顺序的自动执行迁移的每个步骤,并能实时展示每个步骤的状态、进度、异常原因等。
数据迁移插件支持并行启动多个任务,满足现网需要大量数据库并行迁移的述求。
通过对DataKit数据迁移的实践,加深对数据迁移过程和datakit平台的认识,培养对数据迁移技术的兴趣,增强对数据迁移流程的理解。