Sqoop--数据迁移工具

04 Feb 2021

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、 postgresql等)间进行数据的传递。可以将关系型数据库(MySQL ,Oracle ,Postgres 等)中的数据导入到HDFS中，也可以将HDFS的数据导进到关系型数据库中。

安装配置

Sqoop 官网:http://sqoop.apache.org/
Sqoop下载地址:http://www.apache.org/dyn/closer.lua/sqoop/

1. 下载、上传并解压

将下载的安装包 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 上传到虚拟机中; 解压缩软件包;

tar zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz  
mv sqoop-1.4.7.bin__hadoop-2.6.0/ ../servers/sqoop-1.4.7/

2. 增加环境变量，并使其生效

vi /etc/profile  
  
# 增加以下内容  
export SQOOP_HOME=/opt/lagou/servers/sqoop-1.4.7 
export PATH=$PATH:$SQOOP_HOME/bin  
  
source /etc/profile

3. 创建、修改配置文件

# 配置文件位置 $SQOOP_HOME/conf;要修改的配置文件为 sqoop-env.sh cp sqoop-env-template.sh sqoop-env.sh  
  
vi sqoop-env.sh  
  
# 在文件最后增加以下内容  
export HADOOP_COMMON_HOME=/opt/lagou/servers/hadoop-2.9.2 
export HADOOP_MAPRED_HOME=/opt/lagou/servers/hadoop-2.9.2 
export HIVE_HOME=/opt/lagou/servers/hive-2.3.7

4. 拷贝JDBC驱动程序

# 拷贝jdbc驱动到sqoop的lib目录下(备注:建立软链接也可以)  
  
ln -s /opt/lagou/servers/hive-2.3.7/lib/mysql-connector-java-5.1.46.jar /opt/lagou/servers/sqoop-1.4.7/lib/

5. 拷贝 jar

将 $HIVE_HOME/lib 下的 hive-common-2.3.7.jar，拷贝到 $SQOOP_HOME/lib 目录下。如不拷贝在MySQL往Hive导数据的时候将会出现错误: ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf

# 硬拷贝 和 建立软链接都可以，选择一个执行即可。下面是硬拷贝  
cp $HIVE_HOME/lib/hive-common-2.3.7.jar $SQOOP_HOME/lib/  
  
# 建立软链接  
ln -s /opt/lagou/servers/hive-2.3.7/lib/hive-common-2.3.7.jar /opt/lagou/servers/sqoop-1.4.7/lib/hive-common-2.3.7.jar

将 $HADOOP_HOME/share/hadoop/tools/lib/json-20170516.jar 拷贝到 $SQOOP_HOME/lib/ 目录下;否则在创建sqoop job时会报: java.lang.NoClassDefFoundError: org/json/JSONObject

cp $HADOOP_HOME/share/hadoop/tools/lib/json-20170516.jar  $SQOOP_HOME/lib/

6. 安装验证

#查看版本  
sqoop version  
  
# 链接数据库试试  
sqoop list-databases --connect jdbc:mysql://centos7-3:3306/?useSSL=false --username hive --password 12345678

应用案例

在Sqoop中

测试数据脚本

CREATE DATABASE sqoop;  
  
use sqoop;  
  
CREATE TABLE sqoop.goodtbl(  
  gname varchar(50),  
  serialNumber int,  
  price int,  
  stock_number int,  
  create_time date  
);  
  
DROP FUNCTION IF EXISTS `rand_string`;  
DROP PROCEDURE IF EXISTS `batchInsertTestData`;  
  
-- 替换语句默认的执行符号，将;替换成 //  
DELIMITER //  
CREATE FUNCTION `rand_string` (n INT) RETURNS VARCHAR(255) CHARSET 'utf8'  
BEGIN  
    DECLARE char_str varchar(200) DEFAULT  
'0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZ';  
    DECLARE return_str varchar(255) DEFAULT '';  
    DECLARE i INT DEFAULT 0;  
    WHILE i < n DO  
        SET return_str = concat(return_str, substring(char_str,  
FLOOR(1 + RAND()*36), 1));  
        SET i = i+1;  
    END WHILE;  
    RETURN return_str;  
END  
//  
delimiter ;  
  
-- 第一个参数表示:序号从几开始;第二个参数表示:插入多少条记录   
DELIMITER //  
CREATE PROCEDURE `batchInsertTestData` (m INT, n INT) BEGIN  
    DECLARE i INT DEFAULT 0;  
    WHILE i < n DO  
        insert into goodtbl (gname, serialNumber, price,  
stock_number, create_time)  
        values (rand_string(6), i+m, ROUND(RAND()*100),  
FLOOR(RAND()*100), now());  
        SET i = i+1;  
    END WHILE;  
END //  
delimiter ;  
  
call batchInsertTestData(1, 100);

导入数据

导出数据

mysql 中提前建好表格

# 提前创建表  
CREATE TABLE sqoop.goodtbl2(  
  gname varchar(50),  
  serialNumber int,  
  price int,  
  stock_number int,  
  create_time date);  

sqoop export \  
--connect jdbc:mysql://centos7-3:3306/sqoop \  
--username hive \  
--password 12345678 \  
--table goodtbl2 \  
--num-mappers 3 \  
--export-dir /user/hive/warehouse/mydb.db/goodtbl \  
--input-fields-terminated-by "\t"

增量数据导入

前面都是执行的全量数据导入。如果数据量很小，则采取完全源数据抽取;如果源数 据量很大，则需要抽取发生变化的数据，这种数据抽取模式叫做变化数据捕获，简称 CDC(Change Data Capture)。
CDC大体分为两种:侵入式和非侵入式。侵入式指CDC操作会给源系统带来性能影响，只要CDC操作以任何一种方式对源数据库执行了SQL操作，就认为是侵入式的。