首页 > 编程知识 正文

数据同步工具有哪些,数据库数据同步

时间:2023-05-03 21:14:18 阅读:52643 作者:2900

)1)数据库同步,安装失败,需要购买。 优点:支持表结构和数据同步

缺点:仅支持从MySQL/PostgreSQL到Greenplum/PostgreSQL的表结构和数据同步,这些表名称或字段名在同步千万级别的数据量时变为OOM,存在大小写问题有关其他问题,请访问issue:3359github.com/alom/a

)2) flysync,环境要求严格,且需要购买。

)3) SyncNavigator需要解密或购买,未找到以前可以解密的版本。

)4) SymmetricDS的下载安装过程很复杂。 很麻烦,而且必须在每个表中配置触发器,对性能的影响太大了。

)5) SQL比较:仅支持SQL server

)6) SQL delta :仅支持SQL服务器

) d-softsdbcompare :仅支持SQL服务器

)8) DataX )优势:支持工具现成的插件扩展; 缺点:不支持表结构同步,必须手动参与目标表的创建

(9) sqoop ) sqoop是Apache旗下的“hadoop与关系数据库服务器之间的数据传输”工具,是否可以在mysql与mysql之间传输还不确定。 目前调查的资料仅支持MySQL、Oracle将数据导入hadoop的数据存储系统,如hdfs、hive和HBASE。

导出数据-将数据从hadoop文件系统导出到关系数据库。 要实现mysql和mysql之间的传输,可能需要mysql——hadoop——mysql。

(10 ) canal )原理是主从复制

) 11 ) Kettle:kettle功能多,学习成本高,需要各表单独配置,不适用于大量量表操作。

) 12 )使用Greenplum工具gpfdist或外部表方式:优势:部署速度快

缺点:数据库中的数据(如MySQL、Oracle、SQLServer和PostegreSQL )必须导出为文本文件,不适用于大量缩放操作

(13 )利用kettle gpload工具)优点:工具开源、现成、导入速度快,kettle支持表结构同步和表数据同步;

缺点: gpload配置过于复杂,kettle功能多,学习成本高,需要逐表单独配置,不适用于大量量表操作;

(14 ) DStream数据库同步发布系统。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。