阿里云-云小站（无限量代金券发放中）
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

sqoop2基本架构、部署和个人使用感受

189次阅读
没有评论

共计 10030 个字符，预计需要花费 26 分钟才能阅读完成。

一、概述

随着公司集群升级到 2.x，Hadoop 周边的一些工具也进行了版本的更新。这次主要说说 sqoop2 的升级和部署，其中 sqoop1 和 sqoop2 基本框架和用法发生翻天覆地的改变，其对版本的向下兼容做的十分不好，接下来慢慢说，总之各种值得吐槽的地方。

二、sqoop2 的基本框架，以及部署

(1) 首先说说 sqoop1 和 sqoop2 区别

这两个版本是完全不兼容的，其具体的版本号区别为 1.4.x 为 sqoop1，1.99x 为 sqoop2。sqoop1 和 sqoop2 在架构和用法上已经完全不同。

在架构上，sqoop2 引入了 sqoop server（具体服务器为 tomcat），对 connector 实现了集中的管理。其访问方式也变得多样化了，其可以通过 REST API、JAVA API、WEB UI 以及 CLI 控制台方式进行访问。另外，其在安全性能方面也有一定的改善，在 sqoop1 中我们经常用脚本的方式将 HDFS 中的数据导入到 mysql 中，或者反过来将 mysql 数据导入到 HDFS 中，其中在脚本里边都要显示指定 mysql 数据库的用户名和密码的，安全性做的不是太完善。在 sqoop2 中，如果是通过 CLI 方式访问的话，会有一个交互过程界面，你输入的密码信息不被看到。下图是 sqoop1 和 sqoop2 简单架构对比：

sqoop2 基本架构、部署和个人使用感受sqoop2 基本架构、部署和个人使用感受

通过 Sqoop 实现 Mysql / Oracle 与 HDFS / Hbase 互导数据 http://www.linuxidc.com/Linux/2013-06/85817.htm

[Hadoop] Sqoop 安装过程详解 http://www.linuxidc.com/Linux/2013-05/84082.htm

用 Sqoop 进行 MySQL 和 HDFS 系统间的数据互导 http://www.linuxidc.com/Linux/2013-04/83447.htm

Hadoop Oozie 学习笔记 Oozie 不支持 Sqoop 问题解决 http://www.linuxidc.com/Linux/2012-08/67027.htm

Hadoop 生态系统搭建（hadoop hive hbase zookeeper oozie Sqoop）http://www.linuxidc.com/Linux/2012-03/55721.htm

Hadoop 学习全程记录——使用 Sqoop 将 MySQL 中数据导入到 Hive 中 http://www.linuxidc.com/Linux/2012-01/51993.htm

(2)sqoop2 部署步骤

1、下载 sqoop-1.99.x 版本的 sqoop，并进行解压。

2、配置好 SQOOP_HOME 等环境变量，并用 source 是~/.bash_profile 文件即时生效。

3、配置 sqoop server

修改 $SQOOP_HOME/server/conf/catalina.properties，修改 common.loader 属性，加入 hadoop2.x 的各种 lib 包，具体指向路径为 $HADOOP_HOME/share/hadoop/common/*.jar，

$HADOOP_HOME/share/hadoop/common/lib/*.jar，$HADOOP_HOME/share/hadoop/yarn/*.jar，$HADOOP_HOME/share/hadoop/hdfs/*.jar，$HADOOP_HOME,/share/hadoop/mapreduce/*.jar，没有路径用逗号分开。另外，在 $SQOOP_HOME 中建个文件夹例如 hadoop_lib，然后将这些 jar 包 cp 到此文件夹中，最后将此文件夹路径添加到 common.loader 属性中，这种方法更加直观些。

修改 $SQOOP_HOME/server/conf/sqoop.properties，修改 org.apache.sqoop.submission.engine.mapreduce.configuration.directory 属性值为 $HADOOP_HOME/etc/hadoop。

另外，要主要一下 $SQOOP_HOME/server/conf/server.xml 中的 tomcat 端口问题，确保这些端口不会和你其他 tomcat 服务器冲突。

修改配置完毕就可以启动 sqoop server 了，启动命令：$SQOOP_HOME/bin/sqoop.sh server start，启动完看服务器日志如果没有错误就 ok 了。

在修改 sqoop server 配置文件，启动过程中你可能会遇到各种问题，这些问题可能是 log4j 或者是 tomcat 的相关错误问题，还是不难解决的。其中包冲突问题我就遇到了，看 sqoop server 日志：

sqoop2 基本架构、部署和个人使用感受

刚刚看到这个错误信息可能不容易往 jar 包冲突这方面想，出现这个错误的原因是刚刚 $SQOOP_HOME/server/conf/catalina.properties 文件 common.loader 属性中的 hadoop2.x lib 中的 jar 包和 sqoop server 的 web 项目中的 lib 中的包冲突了，解决方法可以将 $SQOOP_HOME/server/webapps/sqoop/WEB-INF/lib 中的 log4j-1.2.16.jar 删掉就 ok 了。

更多详情见请继续阅读下一页的精彩内容 ：http://www.linuxidc.com/Linux/2014-10/107935p2.htm

三、sqoop2 的 Java API 使用

    sqoop2 中的 java api 使用方式和 sqoop1 是完全不同的。其基本流程为：

1、添加 sqoop2 的 Dependency 包。

<dependency>
  <groupId>org.apache.sqoop</groupId>
    <artifactId>sqoop-client</artifactId><br>    <version>1.99.3</version>
</dependency>

2、创建 Connetion。

3、利用之前创建的 ConnectionID 去创建 job。

4、提交 job。

具体代码整理了一下：

import org.apache.sqoop.client.SqoopClient;

import org.apache.sqoop.model.MConnection;

import org.apache.sqoop.model.MConnectionForms;

import org.apache.sqoop.model.MJob;

import org.apache.sqoop.model.MJobForms;

import org.apache.sqoop.model.MSubmission;

import org.apache.sqoop.submission.counter.Counter;

import org.apache.sqoop.submission.counter.CounterGroup;

import org.apache.sqoop.submission.counter.Counters;

import org.apache.sqoop.validation.Status;

 

public class Sqoop2Access {

    public static void main(String[] args) {

        //1、————–Initialization（创建 sqoop client）——————-

        String url = “http://localhost:12000/sqoop/”;

        SqoopClient client = new SqoopClient(url);

        client.setServerUrl(url);

       

        //2、————–Create Connection————–

        //Dummy connection object

        MConnection newCon = client.newConnection(1);// 1 为指定的 ConnectionID

 

        //Get connection and framework forms. Set name for connection

        MConnectionForms conForms = newCon.getConnectorPart();

        MConnectionForms frameworkForms = newCon.getFrameworkPart();

        newCon.setName(“MyConnection”);

 

        //Set connection forms values

        conForms.getStringInput(“connection.connectionString”).setValue(“jdbc:mysql://localhost/mysqlTestDB”);

        conForms.getStringInput(“connection.jdbcDriver”).setValue(“com.mysql.jdbc.Driver”);

        conForms.getStringInput(“connection.username”).setValue(“root”);

        conForms.getStringInput(“connection.password”).setValue(“root”);

 

        frameworkForms.getIntegerInput(“security.maxConnections”).setValue(0);

 

       

        Status status  = client.createConnection(newCon);

        // 检测链接的相关状态

        if(status.canProceed()) {

        System.out.println(“Created. New Connection ID : ” +newCon.getPersistenceId());

        } else {

        System.out.println(“Check for status and forms error “);

        }

       

        //3、————–create job(import job)————–

        //Creating dummy job object(利用 connectionID 去创建 job)

        MJob newjob = client.newJob(newCon.getPersistenceId(), org.apache.sqoop.model.MJob.Type.IMPORT);

        MJobForms connectorForm = newjob.getConnectorPart();

        MJobForms frameworkForm = newjob.getFrameworkPart();

 

        newjob.setName(“ImportJob”);

        //Database configuration

        connectorForm.getStringInput(“table.schemaName”).setValue(“”);

        //Input either table name or sql

        connectorForm.getStringInput(“table.tableName”).setValue(“table”);

        //connectorForm.getStringInput(“table.sql”).setValue(“select id,name from table where ${CONDITIONS}”);

        connectorForm.getStringInput(“table.columns”).setValue(“id,name”);

        connectorForm.getStringInput(“table.partitionColumn”).setValue(“id”);

        //Set boundary value only if required

        //connectorForm.getStringInput(“table.boundaryQuery”).setValue(“”);

 

        //Output configurations

        frameworkForm.getEnumInput(“output.storageType”).setValue(“HDFS”);

        frameworkForm.getEnumInput(“output.outputFormat”).setValue(“TEXT_FILE”);//Other option: SEQUENCE_FILE

        frameworkForm.getStringInput(“output.outputDirectory”).setValue(“/output”);

 

        //Job resources

        frameworkForm.getIntegerInput(“throttling.extractors”).setValue(1);

        frameworkForm.getIntegerInput(“throttling.loaders”).setValue(1);

 

        Status statusJob = client.createJob(newjob);

        // 检测作业状态相关信息

        if(statusJob.canProceed()) {

        System.out.println(“New Job ID: “+ newjob.getPersistenceId());

        } else {

        System.out.println(“Check for status and forms error “);

        }

 

        //4、————–Job Submission————–

        //Job submission start

        MSubmission submission = client.startSubmission(newjob.getPersistenceId());

        System.out.println(“Status : ” + submission.getStatus());

        if(submission.getStatus().isRunning() && submission.getProgress() != -1) {

          System.out.println(“Progress : ” + String.format(“%.2f %%”, submission.getProgress() * 100));

        }

        System.out.println(“Hadoop job id :” + submission.getExternalId());

        System.out.println(“Job link : ” + submission.getExternalLink());

        Counters counters = submission.getCounters();

        if(counters != null) {

          System.out.println(“Counters:”);

          for(CounterGroup group : counters) {

            System.out.print(“\t”);

            System.out.println(group.getName());

            for(Counter counter : group) {

              System.out.print(“\t\t”);

              System.out.print(counter.getName());

              System.out.print(“: “);

              System.out.println(counter.getValue());

            }

          }

        }

        if(submission.getExceptionInfo() != null) {

          System.out.println(“Exception info : ” +submission.getExceptionInfo());

        }

 

 

        //Check job status

        MSubmission submission1 = client.getSubmissionStatus(newjob.getPersistenceId());

        if(submission1.getStatus().isRunning() && submission1.getProgress() != -1) {

          System.out.println(“Progress : ” + String.format(“%.2f %%”, submission1.getProgress() * 100));

        }

 

        //Stop a running job

        //submission1.stopSubmission(jid);   

 

    }

}

另外，如果你使用 CLI 直接访问的话请参考：http://sqoop.apache.org/docs/1.99.3/CommandLineClient.html；REST API 方式访问请参考：http://sqoop.apache.org/docs/1.99.3/RESTAPI.html。

四、sqoop2 的安装和使用总结

    在 sqoop2 的升级部署以及使用的过程中有诸多吐槽的地方。第一，sqoop2 的部署相比于 sqoop1 复杂的多，虽然官方网站中的 install guide 中的文档还是比较详细的，但是其中没有考虑到 hadoop 和 sqoop webSite 包冲突问题，以及没有对在部署过程中有可能出现的问题进行相关提示。第二，sqoop2 和 sqoop1 的兼容性问题没有做到很好的处理，这个是我个人最不能忍受的地方。其中，体现的最明显的地方就是，之前我在公司写项目的时候是用 sqoop1 的 import 或者 export 脚本去实现 HDFS 和 RDBMS 之间的数据转移的，现在我将 sqoop1 升级到 sqoop2 之后，import 和 export 脚本再也无法使用了，这样的话我不得不重新将在项目中用 sqoop1 中的 import 和 export 脚本实现的功能用 JAVA API 去重新编写，这样使得升级超级不平滑，我认为这个是 sqoop2 做的最不好的地方。

参考文献：http://sqoop.apache.org/docs/1.99.3/index.html

Sqoop 的详细介绍 ：请点这里
Sqoop 的下载地址 ：请点这里

一、概述

随着公司集群升级到 2.x，Hadoop 周边的一些工具也进行了版本的更新。这次主要说说 sqoop2 的升级和部署，其中 sqoop1 和 sqoop2 基本框架和用法发生翻天覆地的改变，其对版本的向下兼容做的十分不好，接下来慢慢说，总之各种值得吐槽的地方。

二、sqoop2 的基本框架，以及部署

(1) 首先说说 sqoop1 和 sqoop2 区别

这两个版本是完全不兼容的，其具体的版本号区别为 1.4.x 为 sqoop1，1.99x 为 sqoop2。sqoop1 和 sqoop2 在架构和用法上已经完全不同。

在架构上，sqoop2 引入了 sqoop server（具体服务器为 tomcat），对 connector 实现了集中的管理。其访问方式也变得多样化了，其可以通过 REST API、JAVA API、WEB UI 以及 CLI 控制台方式进行访问。另外，其在安全性能方面也有一定的改善，在 sqoop1 中我们经常用脚本的方式将 HDFS 中的数据导入到 mysql 中，或者反过来将 mysql 数据导入到 HDFS 中，其中在脚本里边都要显示指定 mysql 数据库的用户名和密码的，安全性做的不是太完善。在 sqoop2 中，如果是通过 CLI 方式访问的话，会有一个交互过程界面，你输入的密码信息不被看到。下图是 sqoop1 和 sqoop2 简单架构对比：

sqoop2 基本架构、部署和个人使用感受sqoop2 基本架构、部署和个人使用感受

通过 Sqoop 实现 Mysql / Oracle 与 HDFS / Hbase 互导数据 http://www.linuxidc.com/Linux/2013-06/85817.htm

[Hadoop] Sqoop 安装过程详解 http://www.linuxidc.com/Linux/2013-05/84082.htm

用 Sqoop 进行 MySQL 和 HDFS 系统间的数据互导 http://www.linuxidc.com/Linux/2013-04/83447.htm

Hadoop Oozie 学习笔记 Oozie 不支持 Sqoop 问题解决 http://www.linuxidc.com/Linux/2012-08/67027.htm

Hadoop 生态系统搭建（hadoop hive hbase zookeeper oozie Sqoop）http://www.linuxidc.com/Linux/2012-03/55721.htm

Hadoop 学习全程记录——使用 Sqoop 将 MySQL 中数据导入到 Hive 中 http://www.linuxidc.com/Linux/2012-01/51993.htm

(2)sqoop2 部署步骤

1、下载 sqoop-1.99.x 版本的 sqoop，并进行解压。

2、配置好 SQOOP_HOME 等环境变量，并用 source 是~/.bash_profile 文件即时生效。

3、配置 sqoop server

修改 $SQOOP_HOME/server/conf/catalina.properties，修改 common.loader 属性，加入 hadoop2.x 的各种 lib 包，具体指向路径为 $HADOOP_HOME/share/hadoop/common/*.jar，

$HADOOP_HOME/share/hadoop/common/lib/*.jar，$HADOOP_HOME/share/hadoop/yarn/*.jar，$HADOOP_HOME/share/hadoop/hdfs/*.jar，$HADOOP_HOME,/share/hadoop/mapreduce/*.jar，没有路径用逗号分开。另外，在 $SQOOP_HOME 中建个文件夹例如 hadoop_lib，然后将这些 jar 包 cp 到此文件夹中，最后将此文件夹路径添加到 common.loader 属性中，这种方法更加直观些。

修改 $SQOOP_HOME/server/conf/sqoop.properties，修改 org.apache.sqoop.submission.engine.mapreduce.configuration.directory 属性值为 $HADOOP_HOME/etc/hadoop。

另外，要主要一下 $SQOOP_HOME/server/conf/server.xml 中的 tomcat 端口问题，确保这些端口不会和你其他 tomcat 服务器冲突。

修改配置完毕就可以启动 sqoop server 了，启动命令：$SQOOP_HOME/bin/sqoop.sh server start，启动完看服务器日志如果没有错误就 ok 了。

在修改 sqoop server 配置文件，启动过程中你可能会遇到各种问题，这些问题可能是 log4j 或者是 tomcat 的相关错误问题，还是不难解决的。其中包冲突问题我就遇到了，看 sqoop server 日志：

sqoop2 基本架构、部署和个人使用感受

刚刚看到这个错误信息可能不容易往 jar 包冲突这方面想，出现这个错误的原因是刚刚 $SQOOP_HOME/server/conf/catalina.properties 文件 common.loader 属性中的 hadoop2.x lib 中的 jar 包和 sqoop server 的 web 项目中的 lib 中的包冲突了，解决方法可以将 $SQOOP_HOME/server/webapps/sqoop/WEB-INF/lib 中的 log4j-1.2.16.jar 删掉就 ok 了。

更多详情见请继续阅读下一页的精彩内容 ：http://www.linuxidc.com/Linux/2014-10/107935p2.htm

正文完
星哥玩云-微信公众号
post-qrcode
Apache Hadoop Linux服务器 Nginx Sqoop2 sqoop2基本架构、部署和个人使用感受 Tomcat 分布式 分布式系统 服务器 集群
发表至： 服务器应用
2022-01-20
 0
星锅
版权声明：本站原创文章，由 星锅 于2022-01-20发表，共计10030字。
转载说明：除特殊说明外本站文章皆由CC-4.0协议发布，转载请注明出处。
【腾讯云】推广者专属福利，新客户无门槛领取总价值高达2860元代金券，每种代金券限量500张，先到先得。
CentOS 7下安装 Zookeeper单机版
Apache下禁止显示网站目录结构的方法
SELinux导致故障解决实例
企业级监控软件Zabbix搭建部署之zabbix server的安装
Docker自动部署Apache Tomcat
Docker启动容器报错: could not synchronise with container process: not a directory
Kubernetes – Google分布式容器技术初体验
Ambari——大数据平台的搭建利器
阿里云-最新活动爆款每日限量供应
评论（没有评论）
验证码
星哥说事
星哥说事
分享互联网知识
阅读量
3577686
评论数
4
文章搜索
热门文章
选择PHP与Python，可以考虑这三个问题

选择PHP与Python，可以考虑这三个问题

导读 尽管 RESTful API 和跨平台库已经使网页开发容易起来，但依然没有解决阻碍并隔分开发者、管理者和...
Centos 7平滑无缝升级PHP7.1.0到PHP 7.1.5

Centos 7平滑无缝升级PHP7.1.0到PHP 7.1.5

实验环境：CentOS Linux release 7.3.1611 (Core) 内核版本：Linux ve...
Linux安装使用pidstat命令以对进程数据进行监控

Linux安装使用pidstat命令以对进程数据进行监控

导读 Linux 系统监控的命令其实有很多，pidstat 命令就是其中的一种，使用 pidstat 命令可以...
介绍ansible的Ad-hoc与commands模块

介绍ansible的Ad-hoc与commands模块

Ad-Hoc 是指 ansible 下临时执行的一条命令，并且不需要保存的命令，对于复杂的命令后面会说 pla...
linux下使用tree命令以树形结构显示文件目录结构

linux下使用tree命令以树形结构显示文件目录结构

导读 今天小编来给分享 Linux 系统下一个非常有用的命令的使用：tree 命令可以以树形结构显示文件目录结...
CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
计算机简介

计算机简介

导读 计算机又称为“电脑”，是一种利用数字电子技术，根据一系列指令指示其自动执行任意算术运算或逻辑操作串行的设...
如何解决Oracle临时表空间过大

如何解决Oracle临时表空间过大

导读 解决 Oracle 临时表空间过大有两种方法，方法一增加临时表空间的大小，方法二重建临时表空间，解决临时...
使用 Arduino 制作一个绘图仪

使用 Arduino 制作一个绘图仪

使用开源硬件和软件的 DIY 绘图仪可以自动地绘制、雕刻。 在上学时，科学系的壁橱里藏着一台惠普绘图仪。虽然我...
Python如何将DMP方法写入AWS RDS Oracle中

Python如何将DMP方法写入AWS RDS Oracle中

由于 RDS(Oracle) 不直接支持 SSH，FTP(基于安全因素吧). 所以原有系统 expdp 或 e...
怎样做好云计算的运维工作

怎样做好云计算的运维工作

导读 云数据中心与传统的数据中心运维有什么共同点和差别? 做好云运维应该关注什么? 该如何选择一个合适的云运维...
一言一句话
-「」
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中