Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop专为大数据批量传输设计，能够分割数据集并创建Hadoop任务来处理每个区块。
把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中。 把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中。1.4 为sqoop1, 1.9 为sqoop2 ，sqoop1与sqoop2是不兼容的。 实现需要数据库:
* driver
* URL、username、password
* database、table
hadoop:
* type (hdfp、hive、hbase)
* path 存储到哪里？
* 数据分隔符
* mappers 数量，也就是使用多少线程。
![sqoop 命令列表][1]
显示所有库名 sqoop list-databases --connect jdbc:mysql://192.168.66.4:3306 --username sendi --password 1234![list-databases 例子][2]
显示某个数据库里所有表 sqoop list-tables --connect jdbc:mysql://192.168.66.4:3306/networkmanagement --username sendi --password 1234![list-tables 例子][3]
MYSQL 导入数据到 HIVE sqoop import--connect jdbc:mysql://192.168.66.4:3306/networkmanagement --username sendi --password 1234 --table people--hive-import --create-hive-table --fields-terminated-by "t"-m 5 hive 参数 –hive-import 必须参数，指定导入hive–hive-database default hive库名–hive-table people hive表名–fields-terminated-by hive的分隔符–hive-overwrite 重写重复字段–create-hive-table 帮创建好 hive 表，但是表存在会出错。不建议使用这个参数，因为到导入的时候，会与我们的字段类型有出入。–hive-partition-key “dt” 指定分区表的字段–hive-partition-value “2018-08-08” 指定分区表的值 导出没有主键的表可以使用两种方式：
* –split-by 指定切分的字段
* -m 1 : 设置只使用一个map进行数据迁移
不能 –table 一起使用 需要指定 –target-dir 路径 当数据库中字符为空时的处理 –null-non-string ‘0’ 当不是字符串的数据为空的时候，用 0 替换–null-string ‘string’ 当字符串为空的时候，使用string 字符替换 提高传输速度 –direct 提高数据库到hadoop的传输速度
支持的数据库类型与版本：
* myslq 5.0 以上
* oracle 10.2.0 以上
增量导入对应，首先需要知监控那一列，这列要从哪个值开始增量
* check-column id 用来指定一些列* 这些被指定的列的类型不能使任意字符类型，如char、varchar等类型都是不可以的,常用的是指定主键id.* –check-column 可以去指定多个列 last-value 10 从哪个值开始增量incremental 增量的模式
append id 是获取大于某一列的某个值。lastmodified “2016-12-15 15:47:30” 获取某个时间后修改的所有数据
–append 附加模式–merge-key id 合并模式注意：增量导入不能与 –delete-target-dir 一起使用，还有必须指定增量的模式