自学内容网 自学内容网

测试环境搭建整套大数据系统(十七:mysql同步,字段类型映射错误问题)

问题描述

mysql表
在这里插入图片描述

hive表
在这里插入图片描述
其中 type是字符串类型,但是yarn上一直报错
在这里插入图片描述
number这个类是往int类型转才会使用到的

解决方法

在命令中增加参数

sqoop export \
  --connect "jdbc:mysql://?useUnicode=true&characterEncoding=UTF-8" \
  --username root \
  --password  \
  --table event_resource_statistics \
  --columns "create_time,type,quantity,used_space,size,sort" \
  --input-fields-terminated-by '\t' \
  --input-null-string '\\N' \
  --export-dir /hive/warehouse/parsed_local_probe_origin \
  --map-column-java create_time=String,type=String,quantity=Long,used_space=Long,size=String,sort=Integer \
  --verbose

增加–columns “create_time,type,quantity,used_space,size,sort”
–map-column-java create_time=String,type=String,quantity=Long,used_space=Long,size=String,sort=Integer \


原文地址:https://blog.csdn.net/weixin_43446246/article/details/140662566

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!