自学内容网 自学内容网

Sqoop脚本编写(Mysql---->>hdfs)


语法手册

参考博客

编写方式

脚本文件类型

只要是可读的文件即可(.txt或者.sh等其他类型,不带文件后缀也可以,但二进制文件最好不要)

文件编写

最后一行特别注明

import
--connect
jdbc:mysql://127.0.0.1:3306/sqoop
--username
root
--password
password
--as-textfile
--table
student
--columns
id,name
--target-dir
/sqoop/student
--delete-target-dir
--num-mappers
1
--bindir 
/opt/module/sqoop/lib

.jar路径指定

这个参数是用语指定生成的Java文件编译成的class文件及将生成文件打包为jar的文件输出路径

--bindir 
/opt/module/sqoop/lib

原因:sqoop import命令时,java文件会默认产生在当前目录下,.jar文件和.class文件会默认存放在/tmp/sqoop-(你的用户名)/compile下,因此找不到jar包。
效果:即便如此,仍然会执行两边,第一次生成相应的.jar,第二次执行才会获取此文件正常执行操作

当然也可以手动将.jar从/tmp/sqoop-(你的用户名)/compile中拿出来,放到sqoop目录下

执行效果

执行方式

sqoop --options-file sqoop_student.txt

效果

在这里插入图片描述


原文地址:https://blog.csdn.net/wusuoweiieq/article/details/144339878

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!