利用hdfs gateway挂载NFS到本地
HDFS NFS Gateway
HDFS提供了基于NFS(Network File System)的插件，可以对外提供NFS网关，供其它系统挂载使用。
NFS网关支持NFSv3,并允许将HDFS作为客户机本地文件系统的一部分挂载，现在支持：
·上传、下载、删除、追加内容
我们通过NFS网关可以将hdfs文件系统挂在为网络磁盘的形式，这样就可以像操作本地磁盘一样操作上面的数据
利用hdfs gateway挂载NFS
配置HDFS需要配置如下内容：
- core-site.xml,新增配置项以及hdfs-site.xml,新增配置项
core-site.xml中新增：
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>
第一个配置项表示允许hadoop用户代理任何其他用户组，第二个标识允许代理服务器的请求
2.在hdfs-site.xml中新增如下项
<property>
<name>nfs.superuser</name>
<value>hadoop</value>
</property>
<property>
<name>nfs.dump.dir</name>
<value>/tmp/.hdfs-nfs</value>
</property>
<property>
<name>nfs.exports.allowed.hosts</name>
<value>192.168.88.1 rw</value>
</property>
- nfs.suerpser:NFS操作HDFS系统，所使用的超级用户(hdfs的启动用户为超级用户)
- nfs.dump.dir:NFS接收数据上传时使用的临时目录
- nfs.exports.allowed.hosts:NFS允许连接的客户端IP和权限，rw表示读写，IP整体或部分可以以*代替
- 开启portmap、nfs3两个新进程
启动NFS功能
1.将配置好的core-site.xml和hdfs-site.xml分发到node2和node3
2.重启Hadoop HDFS集群（先stop-dfs.sh,后start-dfs.sh)
3.停止系统的NFS相关进程
a.systemctl stop nfs;systemctl disable nfs
关闭系统nfs并关闭其开机自启
b.yum remove-y rpcbind卸载系统自带rpcbind
4.启动portmap(HDFS自带的rpcbind功能)（必须以root执行）：hdfs-daemon start portmap
5.启动nfs(HDFS自带的nfs功能)（必须以hadoop.用户执行）：hdfs–daemon start nfs.3
原文地址：https://blog.csdn.net/qq_42936727/article/details/137431825
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！