ApacheSqoop(SQL-to-Hadoop )项目旨在帮助RDBMS和Hadoop之间进行高效的大数据通信。 在Sqoop的帮助下，用户可以轻松地将关系数据库中的数据导入到Hadoop及其关联系统中，例如Hadoop和Hive中； 也可以从Hadoop系统中提取数据并将其导出到关系数据库中。 除了这些主要功能外，Sqoop还提供了实用的小工具，如显示数据库表。 理论上，Sqoop支持支持JDBC规范的任何数据库，如DB2、MySQL等。 Sqoop还可以将DB2数据库中的数据导入到HDFS中，并将其存储为各种文件类型。 常见的类型有分隔符类型、Avro二进制类型和序列文件类型。 本文统一使用分隔符类型。
Sqoop的一大亮点是可以通过hadoop中的mapreduce将数据从关系数据库导入到HDFS中。 Sqoop体系结构非常简单，它集成了Hive、Hbase和Oozie，并通过map-reduce任务传输数据，以提供并发性和容错性。
如果Sqoop导入，则必须创建剥离依据参数。 Sqoop基于不同的split-by参数值进行分割，并将分割后的区域分配给不同的map。 每个map都重新处理从数据库中检索的每一行的值，并将其写入HDFS。 同时spli