Sqoop基本操作

🕗 发布于 2024-10-13 08:48 sqoop 数据库 hadoop

Sqoop基本操作

Sqoop版本：Sqoop 1.4.7

mysql中增加数据源：

create database test default character set utf8mb4 collate utf8mb4_unicode_ci;
use test;
create table emp
(
    id     int         not null
        primary key,
    name   varchar(32) null,
    deg    varchar(32) null,
    salary int         null,
    dept   varchar(32) null
);

INSERT INTO emp (id, name, deg, salary, dept) VALUES (1201, 'gopal', 'manager', 50000, 'TP');
INSERT INTO emp (id, name, deg, salary, dept) VALUES (1202, 'manisha', 'Proof reader', 50000, 'TP');
INSERT INTO emp (id, name, deg, salary, dept) VALUES (1203, 'khalil', 'php dev', 30000, 'AC');
INSERT INTO emp (id, name, deg, salary, dept) VALUES (1204, 'prasanth', 'php dev', 30000, 'AC');
INSERT INTO emp (id, name, deg, salary, dept) VALUES (1205, 'kranthi', 'admin', 20000, 'TP');

create table emp_add
(
    id     int         not null
        primary key,
    hno    varchar(32) null,
    street varchar(32) null,
    city   varchar(32) null
);

INSERT INTO emp_add (id, hno, street, city) VALUES (1201, '288A', 'vgiri', 'jublee');
INSERT INTO emp_add (id, hno, street, city) VALUES (1202, '108I', 'aoc', 'sec-bad');
INSERT INTO emp_add (id, hno, street, city) VALUES (1203, '144Z', 'pgutta', 'hyd');
INSERT INTO emp_add (id, hno, street, city) VALUES (1204, '78B', 'old city', 'sec-bad');
INSERT INTO emp_add (id, hno, street, city) VALUES (1205, '720X', 'hitec', 'sec-bad');

create table emp_conn
(
    id    int         not null
        primary key,
    phno  varchar(32) null,
    email varchar(32) null
);

INSERT INTO emp_conn (id, phno, email) VALUES (1201, '2356742', 'gopal@tp.com');
INSERT INTO emp_conn (id, phno, email) VALUES (1202, '1661663', 'manisha@tp.com');
INSERT INTO emp_conn (id, phno, email) VALUES (1203, '8887776', 'khalil@ac.com');
INSERT INTO emp_conn (id, phno, email) VALUES (1204, '9988774', 'prasanth@ac.com');
INSERT INTO emp_conn (id, phno, email) VALUES (1205, '1231231', 'kranthi@tp.com');

2、emp导入到hdfs

不指定HDFS的目标地址

(base) [root@zhang bin]# sqoop import \
> --connect jdbc:mysql://zhang/test \
> --username root \
> --password root \
> --table emp

能运行成功，默认保存到操作系统账户的家目录里，且只有5个map程序，没有reduce程序，默认分隔符为 “，”，5个分区

(base) [root@zhang bin]# hdfs dfs -ls /user/root/emp
Found 6 items
-rw-r--r--   1 root supergroup          0 2024-10-11 15:31 /user/root/emp/_SUCCESS
-rw-r--r--   1 root supergroup         28 2024-10-11 15:31 /user/root/emp/part-m-00000
-rw-r--r--   1 root supergroup         35 2024-10-11 15:31 /user/root/emp/part-m-00001
-rw-r--r--   1 root supergroup         29 2024-10-11 15:31 /user/root/emp/part-m-00002
-rw-r--r--   1 root supergroup         31 2024-10-11 15:31 /user/root/emp/part-m-00003
-rw-r--r--   1 root supergroup         28 2024-10-11 15:31 /user/root/emp/part-m-00004

指定HDFS目的地

]# sqoop import --connect jdbc:mysql://zhang/test --username root --password root --table emp --target-dir "/sqoop/emp" --delete-target_dir

输出结果：5个分区，指定目标地址

(base) [root@zhang bin]# hdfs dfs -ls /sqoop/emp/
Found 6 items
-rw-r--r--   1 root supergroup          0 2024-10-11 15:52 /sqoop/emp/_SUCCESS
-rw-r--r--   1 root supergroup         28 2024-10-11 15:52 /sqoop/emp/part-m-00000
-rw-r--r--   1 root supergroup         35 2024-10-11 15:52 /sqoop/emp/part-m-00001
-rw-r--r--   1 root supergroup         29 2024-10-11 15:52 /sqoop/emp/part-m-00002
-rw-r--r--   1 root supergroup         31 2024-10-11 15:52 /sqoop/emp/part-m-00003
-rw-r--r--   1 root supergroup         28 2024-10-11 15:52 /sqoop/emp/part-m-00004

指定HDFS目的地，1个分区

# sqoop import --connect jdbc:mysql://zhang/test --username root --password root --table emp --target-dir "/sqoop/emp" --delete-target-dir -m 1

输出结果，1个分区

(base) [root@zhang bin]# hdfs dfs -ls /sqoop/emp/
Found 2 items
-rw-r--r--   1 root supergroup          0 2024-10-11 15:59 /sqoop/emp/_SUCCESS
-rw-r--r--   1 root supergroup        151 2024-10-11 15:59 /sqoop/emp/part-m-00000

指定分隔符：\001

# sqoop import --connect jdbc:mysql://zhang/test --username root --password root --table emp --target-dir "/sqoop/emp_1" --delete-target-dir -m 1 --fields-terminated-by '\001'

输出结果：

1201gopalmanager50000TP
1202manishaProof reader50000TP
1203khalilphp dev30000AC
1204prasanthphp dev30000AC
1205kranthiadmin20000TP

3 、导入到HIVE表中
在hive中建表

create table emp_add
(
    id     int,
    hno    string,
    street string,
    city   string
) row format delimited fields terminated by "\t" stored as ORC

从mysql导入到hive表
由于HIVE表存储格式为ORC,非TEXTFILE，选择Hcatalog导入

sqoop import --connect jdbc:mysql://zhang/test --username root --password root --table emp_add   -m 1 --hcatalog-table emp_add

HIVE中emp_add结果：
在这里插入图片描述

4，条件导入
通过where
sqoop import --connect jdbc:mysql://zhang/test --username root --password root --table emp --target-dir “/sqoop/emp” --delete-target-dir -m 1 --where “id>1205”

(base) [root@zhang ~]# hdfs dfs -cat /sqoop/emp/part-m-00000
1206,ere,rr,20300,T3
1207,ddd,ee,20200,T4

通过SQL

sqoop import --connect jdbc:mysql://zhang/test --username root --password root  --target-dir "/sqoop/emp" --delete-target-dir -m 1 --query 'select  deg  from emp where 1=1 and $CONDITIONS'

(base) [root@zhang ~]# hdfs dfs -cat /sqoop/emp/part-m-00000
manager
Proof reader
php dev
php dev
admin
rr
ee
(base) [root@zhang ~]#

5、增量导入到hive

sqoop import --connect jdbc:mysql://zhang/test --username root --password root --table emp_add   -m 1 --hcatalog-table emp_add --where "id>1205"

结果：
在这里插入图片描述
或

sqoop import --connect jdbc:mysql://zhang/test --username root --password root  --hcatalog-table emp_add  -m 1 --query 'select  * from emp_add where id>1205  and $CONDITIONS'

在这里插入图片描述
6 、导出到Mysql
在mysql建空表(必须）

create table emp_add_mysql
(
    id     int,    
    hno    varchar(32) null,
    street varchar(32) null,
    city   varchar(32) null
);

导出到mysql
注意两边数据类型

sqoop export --connect jdbc:mysql://zhang:3306/test --username root --password root --table emp_add_mysql   -m 1 --hcatalog-table emp_add

在这里插入图片描述

原文地址：https://blog.csdn.net/weixin_42732268/article/details/142855228

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：合宙 Air724UG 开发板快速上手
下一篇：OpenAI今天Open了一下：开源多智能体框架Swarm

Vue 项目中的自适应布局：px 转换成 vw/vh
在移动设备上，不同分辨率的屏幕对应的界面大小不同，这就需要。
阅读更多2024-10-13
【JS】消除头尾的换行符、空格符
删除 ckeditor 生成的文本的开头和结尾的额外换行符、空格符，但不删除文本本身之间的空格、换行内容。CKeditor的html标签包裹的内容处理
阅读更多2024-10-13
第六课 Vue中的条件语句指令
v-if指令与v-show的功能在部分场景重叠，常用语条件判断。
阅读更多2024-10-13
mysql隐藏索引
在 MySQL 8 中，隐藏索引（Invisible Indexes）是指一种特殊类型的索引，它并不真正被删除，而是被标记为“不可见”。当索引被标记为不可见时，查询优化器在生成查询计划时将忽略这个索引
阅读更多2024-10-13
网络安全（黑客）2024小白自学必看
。
阅读更多2024-10-13
安装rstudio-server
ROOT权限安装rstudio-server
阅读更多2024-10-13
小程序上传图片报错uploadFile:fail createUploadTask:fail url not in domain list怎么解决
我在碰到这个问题之后寻求多方询问了解到你请求接口数据写的是request合法域名,但是上传图片还要再uploadFile合法域名上面写,大意了哈哈哈哈哈,仅供大家参考。大家有时候会遇到这种错误束手无措
阅读更多2024-10-13
《使用Gin框架构建分布式应用》阅读笔记：p1-p19
执行go get 或者 go install 命令后package会被安装到哪里？参考：https://go.dev/ref/mod#go-installVSCode结合WSL使用后，路径把人绕晕了。
阅读更多2024-10-13
Elasticsearch介绍和使用
与传统的正向索引（如书籍的目录，根据内容的位置来查找内容）不同，倒排索引是根据内容来查找其位置。在文本搜索领域，倒排索引将每个词（或称为“词条”“术语”）与包含该词的文档列表相关联。在实际应用中，可以
阅读更多2024-10-13
在SpringBoot+VUE中实现登录-RSA的加密解密
【代码】在SpringBoot+VUE中实现登录-RSA的加密解密。
阅读更多2024-10-13

Sqoop基本操作

Sqoop基本操作

相关文章