HBase分布式安装配置（Zookeeper+HBase）

🕗 发布于 2024-12-11 06:30 分布式 hbase zookeeper

HBase

Zookeeper

HBase 是一个面向列式存储的分布式数据库，其设计思想来源于 Google 的 BigTable 论文。HBase 底层存储基于 HDFS 实现，集群的管理基于 ZooKeeper 实现。HBase 良好的分布式架构设计为海量数据的快速存储、随机访问提供了可能，基于数据副本机制和分区机制可以轻松实现在线扩容、缩容和数据容灾，是大数据领域中 Key-Value 数据结构存储最常用的数据库方案。

环境说明：

服务端登录地址详见各任务服务端说明。
补充说明：宿主机可通过Asbru工具或SSH客户端进行SSH访问；
相关软件安装包在宿主机的/opt目录下，请选择对应的安装包进行安装，用不到的可忽略；
所有任务中应用命令必须采用绝对路径；
进入Master节点的方式为
docker exec -it master /bin/bash
进入Slave1节点的方式为
docker exec -it slave1 /bin/bash
进入Slave2节点的方式为
docker exec -it slave2 /bin/bash
三个容器节点的root密码均为123456

提前准备好apache-zookeeper-3.5.7-bin.tar.gz、hbase-2.2.3-bin.tar.gz放在宿主机的/opt/下（模拟的自己准备，比赛时会提供）

Hadoop 完全分布式安装配置

环境搭建请看这篇文章大数据模块A环境搭建

前提条件已经在容器里搭建完hadoop了,没搭建的请看这篇Hadoop 完全分布式安装配置

HBase分布式安装配置

本任务需要使用root用户完成相关配置，安装HBase需要配置Hadoop和ZooKeeper等前置环境。命令中要求使用绝对路径，具体要求如下:

1、从宿主机/opt目录下将文件apache-zookeeper-3.5.7-bin.tar.gz、hbase-2.2.3-bin.tar.gz复制到容器Master中的/opt/software路径中（若路径不存在，则需新建），将ZooKeeper、HBase安装包解压到/opt/module目录下，将HBase的解压命令复制并粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下；

第一步：从宿主机/opt目录下将文件apache-zookeeper-3.5.7-bin.tar.gz、hbase-2.2.3-bin.tar.gz复制到容器Master中的/opt/software路径中（若路径不存在，则需新建）

ZooKeeper

[root@Bigdata ~]# docker cp /opt/apache-zookeeper-3.5.7-bin.tar.gz master:/opt/software/

HBase

[root@Bigdata ~]# docker cp /opt/hbase-2.2.3-bin.tar.gz master:/opt/software/

第二步：将ZooKeeper、HBase安装包解压到/opt/module目录下

ZooKeeper

[root@master ~]# tar zxvf /opt/software/apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/

HBase

[root@master ~]# tar zxvf  /opt/software/hbase-2.2.3-bin.tar.gz -C /opt/module/

改一下名字

[root@master ~]# mv /opt/module/apache-zookeeper-3.5.7-bin /opt/module/zookeeper 
[root@master ~]# mv /opt/module/hbase-2.2.3 /opt/module/hbase

2、完成ZooKeeper相关部署，用scp命令并使用绝对路径从容器master复制HBase解压后的包分发至slave1、slave2中，并修改相关配置，配置好环境变量，在容器Master节点中运行命令hbase version，将全部复制命令复制并将hbase version命令的结果截图粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下;

第一步：完成ZooKeeper相关部署

1.修改文件名称

[root@master ~]# mv /opt/module/zookeeper/conf/zoo_sample.cfg /opt/module/zookeeper/conf/zoo.cfg

2.配置zoo.cfg

[root@master ~]# vi /opt/module/zookeeper/conf/zoo.cfg

dataDir=/opt/module/zookeeper/data
datdLogDir=/opt/module/zookeeper/logs

server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

代码位置如图：

3.创建目录

[root@master ~]# mkdir /opt/module/zookeeper/data
[root@master ~]# mkdir /opt/module/zookeeper/logs

4.添加myid文件到data里（里面就填一个数字，master填1，slave1填2，slave2填2）

[root@master ~]# vi /opt/module/zookeeper/data/myid

5.把配置好的zookeeper分发到子节点去

[root@master ~]# scp -r /opt/module/zookeeper slave1:/opt/module/
[root@master ~]# scp -r /opt/module/zookeeper slave2:/opt/module/

6.修改子节点的myid

vi /opt/module/zookeeper/data/myid

7.配置HBase

[root@master ~]# vi /opt/module/hbase/conf/hbase-env.sh

在文件末尾添加

export JAVA_HOME=/opt/module/java
export HADOOP_HOME=/opt/module/hadoop
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HBASE_MANAGES_ZK=false
export HBASE_LOG_DIR=${HBASE_HOME}/logs
export HBASE_PID_DIR=${HBASE_HOME}/pid

8.配置 `hbase-site.xml` 文件

[root@master ~]# vi /opt/module/hbase/conf/hbase-site.xml

在 configuration 标签中添加如下内容：

<!--指定 hbase 根路径 -->
<property>
<name>hbase.rootdir</name>
    <value>hdfs://master:8020/hbase</value>
</property>

<!--浏览器的访问端口-->
<property>
     <name>hbase.master.info.port</name>
     <value>16010</value>
</property>

 <!--将 hbase 设置为分布式部署 -->
<property>
     <name>hbase.cluster.distributed</name>
     <value>true</value>
</property>

 <!--指定hbase在本地下生成文件路径 -->
<property>
     <name>hbase.tmp.dir</name>
     <value>/opt/module/hbase/tmp</value>
</property>

 <!--指定 zookeeper 服务器 -->
<property>
     <name>hbase.zookeeper.property.clientPort</name>
     <value>2181</value>
</property>
<property>
    <name>hbase.zookeeper.quorum</name>
    <value>master,slave1,slave2</value>
</property>

 <!-- 避免出现启动错误。 -->
<property>
   <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
</property>

9.修改 `regionservers` 文件

[root@master ~]# vi /opt/module/hbase/conf/regionservers

文件里面只放下面内容

master
slave1
slave2

10.删除slf4j-log4j12-1.7.25.jar 解决 log4j 兼容性问题

[root@master ~]# rm -rf /opt/module/hbase/lib/client-facing-thirdparty/slf4j-log4j12-1.7.25.jar

第二步：用scp命令并使用绝对路径从容器master复制HBase解压后的包分发至slave1、slave2中

[root@master ~]# scp -r /opt/module/hbase slave1:/opt/module/
[root@master ~]# scp -r /opt/module/hbase slave2:/opt/module/

第三步：配置好环境变量/etc/profile

[root@master ~]# vi /etc/profile

在文件末尾添加

#ZOOKEEPER_HOME
export ZOOKEEPER_HOME=/opt/module/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin
#HBASE_HOME
export HBASE_HOME=/opt/module/hbase
export PATH=$PATH:$HBASE_HOME/bin

将环境变量分发给子节点

[root@master ~]# scp /etc/profile slave1:/etc/
[root@master ~]# scp /etc/profile slave2:/etc/

使环境变量生效

[root@master ~]# source /etc/profile

第四步：在容器Master节点中运行命令hbase version

[root@master ~]# hbase version

3、启动HBase后在三个节点分别使用jps命令查看，并将结果分别截图粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下；正常启动后在hbase shell中查看命名空间，将查看命名空间的结果截图粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下。

第一步：启动HBase后在三个节点分别使用jps命令查看

hadoop启动（一定要启动）

start-all.sh

先启动zookeeper(三个节点都要启动)

[root@master ~]# zkServer.sh start
[root@slave1 ~]# zkServer.sh start
[root@slave2 ~]# zkServer.sh start

启动HBase

[root@master ~]# start-hbase.sh

jps

master

slave1

slave2

第二步：正常启动后在hbase shell中查看命名空间

1.进入shell

[root@master ~]# hbase shell

2.查看命名空间

hbase(main):001:0> list_namespace

END

一键三连是我写文章的动力！

声明：此文章为个人学习笔记，如文章有问题欢迎留言探讨，也希望您的指正！

原文地址：https://blog.csdn.net/weixin_62687791/article/details/144361425

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：Docker Compose vs Docker Run：一个数据访问问题的排查与解决
下一篇：在react中使用组件的标签页写订单管理页面

.NET(C#) 如何配置用户首选项及保存用户设置
.NET(C#) 如何配置用户首选项及保存用户设置
阅读更多2024-12-14
【最新】北大数字普惠金融指数数据集-省市县（2011-2023年）
郭峰,王靖一,王芳,孔涛,张勋,程志云.测度中国数字普惠金融发展:指数编制与空间特征[J].经济学(季刊),2020,19(04):1401-1418.时间跨度：省级和城市级指数时间跨度为2011-2
阅读更多2024-12-14
GESP202412 四级【Recamán】题解（AC）
a11ak−1−kkakak−1−kak−1k小杨想知道 Recamán 数列的前n项从小到大排序后的结果。手动计算非常困难，小杨希望你能帮他解决这个问题。
阅读更多2024-12-14
IDEA遇到EasyConnect中的网络资源无法访问的问题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。原文链接：https://blog.csdn.net/wanshanyu_/article/de
阅读更多2024-12-14
双目摄像头标定方法
此时已经完成标定，左下角为反投影误差，右边为外参可视化。将双目左右目拍的图像上传（左右目最好不少于20张）此时回到主页面，即可看到成功导出。把这些误差大的删除即可。
阅读更多2024-12-14
Servlet、omcat服务器架构与工作原理
Servlet是运行在服务器端的Java程序，它的主要职责之一是接收并处理来自客户端（如浏览器）的HTTP请求。当客户端发送一个请求到服务器时，Servlet可以解析请求中的信息，例如请求的URL路径
阅读更多2024-12-14
Vue生命周期钩子函数：深入解析与实践
作为高级Vue前端开发人员，对Vue组件的生命周期钩子函数有着深刻的理解是至关重要的。生命周期钩子函数是指在Vue组件的创建、更新、销毁等过程中，Vue自动调用的一系列方法。通过这些钩子函数，我们可以
阅读更多2024-12-14
安卓开发--使用android studio发布APP
app发布
阅读更多2024-12-14
数据结构与算法学习笔记----拓扑排序
@ author: 明月清了个风。
阅读更多2024-12-14
python 将数据保存到现有的Excel文件的新工作表
out_file = ‘query.xlsx’df1 = pd.DataFrame(out_data)若直接写入：df1.to_excel(out_file, index=False, sheet_n
阅读更多2024-12-14

HBase分布式安装配置（Zookeeper+HBase）

环境说明：

Hadoop 完全分布式安装配置

环境搭建请看这篇文章大数据模块A环境搭建

前提条件已经在容器里搭建完hadoop了,没搭建的请看这篇Hadoop 完全分布式安装配置

HBase分布式安装配置

第一步：从宿主机/opt目录下将文件apache-zookeeper-3.5.7-bin.tar.gz、hbase-2.2.3-bin.tar.gz复制到容器Master中的/opt/software路径中（若路径不存在，则需新建）

第二步：将ZooKeeper、HBase安装包解压到/opt/module目录下

第一步： 完成ZooKeeper相关部署

1.修改文件名称

2.配置zoo.cfg

3.创建目录

4.添加myid文件到data里（里面就填一个数字，master填1，slave1填2，slave2填2）

5.把配置好的zookeeper分发到子节点去

6.修改子节点的myid

7.配置HBase

8.配置 hbase-site.xml 文件

9.修改 regionservers 文件

10.删除slf4j-log4j12-1.7.25.jar 解决 log4j 兼容性问题

第二步：用scp命令并使用绝对路径从容器master复制HBase解压后的包分发至slave1、slave2中

第三步：配置好环境变量/etc/profile

第四步：在容器Master节点中运行命令hbase version

第一步： 启动HBase后在三个节点分别使用jps命令查看

hadoop启动（一定要启动）

先启动zookeeper(三个节点都要启动)

启动HBase

jps

master

slave1

slave2

第二步：正常启动后在hbase shell中查看命名空间

1.进入shell

2.查看命名空间

END

相关文章

第一步：完成ZooKeeper相关部署

8.配置 `hbase-site.xml` 文件

9.修改 `regionservers` 文件

第一步：启动HBase后在三个节点分别使用jps命令查看