首页 > 编程知识 正文

oracle数据迁移到hive,将mysql数据迁移到hive

时间:2023-05-05 17:29:13 阅读:197622 作者:3168

2019独角兽企业重金招聘Python工程师标准>>>

1. 设置默认需要导出的hive数据库
vi ~/.hiverc use logbase; 2. 创建数据临时目录
hdfs dfs -mkdir /tmp/hive-export
3.生成导出数据脚本
hive -e "show tables " | awk '{printf "export table %s to @/tmp/hive-export/%s@;n",$1,$1}' | sed "s/@/'/g" > export.hql 手工去掉第一行(因为第一行是tab_name,不是实际表)
4.手工导出数据到hdfs
hive -f export.hql
5. 下载hdfs数据到本地并传送到目标hadoop集群的/tmp/hive-export 目录
hdfs dfs -get /tmp/hive-export/*
hdfs dfs -put * /tmp/hive-export
 7.构造导入语句 cp export.sql import.sql sed -i 's/export table/import table/g' import.sql


参考官网:

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ImportExport

转载于:https://my.oschina.net/u/2438020/blog/498237

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。