青岛网站营销推广,wordpress清理主题,做网站公众号要多少钱,莱芜招聘信息最新招聘2022数据迁移方式工具总结 kettel的使用dataX的使用pt-archiver的使用 kettel的使用
1、中文网#xff1a;http://www.kettle.org.cn/ 2、下载地址 3、使用kettle进行数据迁移 3.1 打开文件夹#xff0c;运行spoon.bat 3.2 点击文件#xff0c;新建转换 3.3 新建数据库… 数据迁移方式工具总结 kettel的使用dataX的使用pt-archiver的使用 kettel的使用
1、中文网http://www.kettle.org.cn/ 2、下载地址 3、使用kettle进行数据迁移 3.1 打开文件夹运行spoon.bat 3.2 点击文件新建转换 3.3 新建数据库连接一个为源数据库另一个为目的数据库 3.4 建立表输入和表输出表输入为源数据表表输出为要写入的表 3.5 点击运行转换即可进行数据迁移 注运行过程中出现问题可查看下方控制台中的日志。
dataX的使用
1、datax下载 相关文档https://developer.aliyun.com/article/59373
github地址https://github.com/alibaba/DataX.git
安装包快速下载https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202308/datax.tar.gz
# 解压安装包至Linux目录
tar -zxvf datax.tar.gz -C /usr/local/2、使用dataX进行增量同步
# 进入job目录下
cd jobvim trans.job
# 文件内容如下
{job: {content: [{reader: {name: mysqlreader,parameter: {username: root,password: pass,column: [ * #表示进行所有字段的同步],where: order_date ${order_date} and com_code in (103,104,205,176,178,118), #定义同步的数据条件connection: [{jdbcUrl: [jdbc:mysql://10.106.17*..2*5:3306/my_db?useUnicodetruecharacterEncodingutf8],table: [my_order #数据源表]}]}},writer: {name: mysqlwriter,parameter: {column: [*],connection: [{jdbcUrl: jdbc:mysql://10.106.2*5.6*:3306/my_db?useUnicodetruecharacterEncodingutf8,table: [my_order]}],password: pass,username: root,writeMode: replace}}}],setting: {speed: {channel: 5}}}
}
执行一次同步就会将where条件查询出来的数据同步到目标表中注意参数的传递${order_date}
python /usr/local/datax/bin/datax.py /usr/local/datax/job/trans.json -p -Dorder_date$order_date以上为使用dataX进行增量同步的简单描述如果每日都需要根据日志进行增量同步可以添加Linux定时任务完成。
vim my_trans.sh#!/bin/bash
. /etc/profile #定时任务若初始执行不成功可以添加此行
order_date$(date %Y-%m-%d)
cd /usr/local/datax/log
logfiledatax_$order_date.log# 同步测试数据
nohup python /usr/local/datax/bin/datax.py /usr/local/datax/job/trans.json -p -Dorder_date$order_date $logfile
nohup python /usr/local/datax/bin/datax.py /usr/local/datax/job/trans2.json -p -Dorder_date$order_date $logfile
注Linux定时任务五个*的意思从左到右分别是[分钟小时几号月份星期几] 比如每天8点38分执行一次同步
38 8 * * * /bin/bash /usr/local/datax/job/my_trans.shpt-archiver的使用
1、安装下载 下载地址https://www.percona.com/downloads
# 安装相关
tar xvf percona-toolkit-3.3.1_x86_64.tar.gz
cd percona-toolkit-3.3.1
yum install perl-ExtUtils-MakeMaker perl-DBD-MySQL perl-Digest-MD5
perl Makefile.PL
make
make install2、进行数据归档
pt-archiver --source h192.168.253.128,P3306,uroot,pVWVqlLvS4kfONYRG,Dmy_slaughter_logistics,tmy_city --dest h192.168.253.129,P3306,utest,pVWVqlLvS4kfONYRG,Dmy_slaughter_logistics,tmy_city --where 11执行完之后会发现源数据表已被清空因为使用pt-archiver进行同步的步骤如下 1源库查询记录。 2目标库插入记录。 3源库删除记录。 4目标库 COMMIT。 5源库 COMMIT。 当进行大表归档的时候可以采用批量归档的方式需要增加以下几个参数 –bulk-delete批量删除。 –limit每批归档的记录数。 –commit-each对于每一批记录只会 COMMIT 一次。 –bulk-insert归档数据以 LOAD DATA INFILE 的方式导入到归档库中。
