hadoop_core-site.xml配置实例

hadoop3.2.3的高可用集群core-site.xml配置实例

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>


<configuration>

<property>
<!--Hadoop文件系统的默认URI，这里的默认访问地址是starcluster -->
<name>fs.defaultFS</name>
<value>hdfs://starcluster</value>
    </property>

<property>
<!--Hadoop临时文件的存储目录 -->
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/tmp/hadoop/</value>
</property>

<property>
<!--设置代理用户（root用户）可以访问Hadoop服务的主机和组 -->
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>

<property>
<!--设置HDFS垃圾回收机制，文件将在垃圾桶中保留1440分钟后被永久删除 -->
<name>fs.trash.interval</name>
<value>1440</value>
</property>

<property>
<!--设置HDFS垃圾回收机制，圾桶的检查点间隔是120分钟 -->
<name>fs.trash.checkpoint.interval</name>
<value>120</value>
</property>

<property>
<!--设置ZooKeeper集群的地址和端口，用于Hadoop的高可用性配置 -->
<name>ha.zookeeper.quorum</name>
<value>kafka-1:2181,kafka-2:2181,kafka-3:2181</value>
</property>

<property>
<!--用于设置代理用户（hadoop用户）可以访问Hadoop服务的主机和组 -->
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>
<property>
<!--只有hadoop组的用户可以通过hadoop用户代理访问Hadoop服务 -->
<name>hadoop.proxyuser.hadoop.groups</name>
<value>hadoop</value>
</property>

<property>
<!--允许任何主机上的root用户通过代理访问Hadoop服务 -->
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>

<property>
<!--只有属于hadoop组的root用户可以通过代理访问Hadoop服务 -->
<name>hadoop.proxyuser.root.groups</name>
<value>hadoop</value>
</property>

<property>
<!--指定Hadoop支持的压缩编解码器列表 -->
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.GzipCodec,
 org.apache.hadoop.io.compress.DefaultCodec,
 org.apache.hadoop.io.compress.BZip2Codec,
 org.apache.hadoop.io.compress.SnappyCodec,
 com.hadoop.compression.lzo.LzoCodec,
 com.hadoop.compression.lzo.LzopCodec
</value>
</property>

<property>
<!--是否使用Snappy的本地库（native library）来进行压缩和解压缩操作 -->
<name>io.compression.codec.snappy.native</name>
<value>true</value>
</property>

<property>
<!--指定LZO压缩编解码器的Java类名 -->
<name>io.compression.codec.lzo.class</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>

</configuration>

原文地址：https://blog.csdn.net/qq_41074187/article/details/142863105

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！