前提(大数据平台之间网络互通)
第一种方案(Linux原生远程Shell命令拷贝)①将Hive数据通过MR写到其他Linux文件夹中:
hive> insert overwrite local directory '/usr/test' select * from test;上述是通过MR任务计算!② 通过Linux原生SCP拷贝
将本机文件复制到远程服务器上
/user/test/ 本地文件的绝对路径
new.txt 要复制到服务器上的本地文件
root 通过root用户登录到远程服务器(也可以使用其他拥有同等权限的用户)
192.168.1.1 远程服务器的ip地址(也可以使用域名或机器名)
/usr/local 将本地文件复制到位于远程服务器上的路径(提供指定文件地址)
[服务器2]创建Hive外表,其中外表的(location)地址远程指向迁移地址[服务器1]数据的(location)地址,
在我们的Hive中创建Hive外部引用表,将引用路径指向需要迁移的服务器地址
注意:
[保证数据必须TextFile文件格式(Orc等压缩文件格无用),可以将压缩表数据插入非压缩表中insert ****** select ******]
第一步:拷贝服务器2host地址,粘贴在本地Host 做好映射第一步:创建External外表CREATE External TABLE TEST(id String,id1 String,id2 String)location 'hdfs://bigdata/test/data';bigdata 为IP地址别名 必须为主节点/test/data 数据存储地址注意:
访问IP:50070端口 查看是否是主节点! 如果是备用节点就不支持,切记要切换
在本地建表,直接查询,即可查询远端数据通过insert into My_test Select * from test;将远端数据插入到本地! 在我们测试环境,亲测方案可行方案要求:远程指向的IP必须为active模式,IP地址,端口都可以进行连接, 拥有权限,对两服务器之间网络要求高! 第三种方案:使用Hadoop集群叫远程拷贝Distcp命令Distcp最常用于在集群之间的拷贝:
实例:
hadoop distcp hdfs://nn1:8020/source hdfs://nn2:8020/destination
注意:
nn1:(服务器1活跃NM节点的IP)
nn2:(服务器2活跃NM节点的IP)
上述命令会把nn1集群的/source目录下的所有文件或目录展开并存储到一个临时文件中,这些文件内容的拷贝工作被分配给多个map任务,
然后每个NodeManager分别执行从nn1到nn2的拷贝操作。【拷贝到的服务器不需要创建文件夹】
注意:DistCp使用绝对路径进行操作。
命令行中还可以指定多个源目录: