HA集群的启动命令（离线-实时数仓）

🕗 发布于 2024-02-29 10:08 linux 运维 服务器

1.zk启动

脚本：zk.sh start

三台集群命令：bin/zkServer.sh start

查看状态：bin/zkServer.sh status

启动客户端：bin/zkCli.sh

2.hadoop集群（启动Hadoop-HA）

1）.在三台节点：JournalNode节点上，输入以下命令启动journalnode服务：

hdfs --daemon start journalnode

2).在hadoop102[nn1]上，对其进行格式化，并启动(第一次格式化Namenode)

格式化：hdfs namenode -format

开启nn1：hdfs --daemon start namenode

3）在hadoop103[nn2]上，同步nn1的元数据信息

hdfs namenode -bootstrapStandby

4）启动[nn2]

hdfs --daemon start namenode

5）格式化zkfc

hdfs zkfc -formatZK

6）在所有nn节点启动zkfc（含有namenode节点 01 ，02）

hdfs --daemon start zkfc

7）在所有节点上，启动datanode(2台节点)

hdfs --daemon start datanode

8）第二次启动可以在NameNode所在节点执行start-dfs.sh启动HDFS所有进程

start-dfs.sh

stop-dfs.sh

9）在ResourceMamager所在节点执行start-yarn.sh 启动yarn所有进程

start-yarn.sh

stop-yarn.sh

10）部署完成可以通过start-all.sh和stop-all.sh控制Hadoop-HA所有节点的启停

start-all.sh

stop-all.sh

2.1. Hadoop群起脚本

vim hdp.sh

#!/bin/bash
if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi
case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs 和 yarn ---------------"
        ssh hadoop102 "/opt/module/hadoop/sbin/start-all.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 hdfs 和 yarn ---------------"
        ssh hadoop102 "/opt/module/hadoop/sbin/stop-all.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

3.kafka启动

（1）先启动Zookeeper集群，然后启动Kafka。

zk.sh start

（2）依次在hadoop102、hadoop103、hadoop104节点上启动Kafka。

bin/kafka-server-start.sh -daemon

（3）依次在hadoop102、hadoop103、hadoop104节点上停止Kafka.

bin/kafka-server-stop.sh

3.1 Kafka命令行操作

1）查看操作主题命令参数：bin/kafka-topics.sh

2）查看当前服务器中的所有topic：bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list

3）创建first topic：bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --create --partitions 1 --replication-factor 3 --topic first

4）查看first主题的详情： bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic first

5）修改分区数（注意：分区数只能增加，不能减少）：bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --alter --topic first --partitions 3

6）再次查看first主题的详情：bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic first

7）删除topic（学生自己演示）：bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --delete --topic first

3.2 生产者命令行操作

1）查看操作生产者命令参数：bin/kafka-console-producer.sh

2）发送消息：bin/kafka-console-producer.sh --bootstrap-server hadoop102:9092 --topic first

3.3 消费者命令行操作

1）查看操作消费者命令参数：bin/kafka-console-consumer.sh

2）消费消息

（1）消费first主题中的数据：

bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first

（2）把主题中所有的数据都读取出来（包括历史数据）

bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --from-beginning --topic first

4. Flume启动

5.MySQL启动

（1）卸载MySQL依赖，虽然机器上没有装MySQL，但是这一步不可少

sudo yum remove mysql-libs

（2）下载依赖并安装

sudo yum install libaio

sudo yum -y install autoconf

2）切换到hadoop102的root用户

3）执行/opt/software/mysql/目录下install_mysql.sh

vim install_mysql.sh

#!/bin/bash
set -x
[ "$(whoami)" = "root" ] || exit 1
[ "$(ls *.rpm | wc -l)" = "7" ] || exit 1
test -f mysql-community-client-8.0.31-1.el7.x86_64.rpm && \
test -f mysql-community-client-plugins-8.0.31-1.el7.x86_64.rpm && \
test -f mysql-community-common-8.0.31-1.el7.x86_64.rpm && \
test -f mysql-community-icu-data-files-8.0.31-1.el7.x86_64.rpm && \
test -f mysql-community-libs-8.0.31-1.el7.x86_64.rpm && \
test -f mysql-community-libs-compat-8.0.31-1.el7.x86_64.rpm && \
test -f mysql-community-server-8.0.31-1.el7.x86_64.rpm || exit 1

# 卸载MySQL
systemctl stop mysql mysqld 2>/dev/null
rpm -qa | grep -i 'mysql\|mariadb' | xargs -n1 rpm -e --nodeps 2>/dev/null
rm -rf /var/lib/mysql /var/log/mysqld.log /usr/lib64/mysql /etc/my.cnf /usr/my.cnf

set -e
# 安装并启动MySQL
yum install -y *.rpm >/dev/null 2>&1
systemctl start mysqld

#更改密码级别并重启MySQL
sed -i '/\[mysqld\]/avalidate_password.length=4\nvalidate_password.policy=0' /etc/my.cnf
systemctl restart mysqld

# 更改MySQL配置
tpass=$(cat /var/log/mysqld.log | grep "temporary password" | awk '{print $NF}')
cat << EOF | mysql -uroot -p"${tpass}" --connect-expired-password >/dev/null 2>&1
set password='000000';
update mysql.user set host='%' where user='root';
alter user 'root'@'%' identified with mysql_native_password by '000000';
flush privileges;
EOF

执行脚本：sh install_mysql.sh

6.数据采集

1）启动Zookeeper、Kafka集群

2）启动hadoop102的日志采集Flume

[atguigu@hadoop102 flume]$ bin/flume-ng agent -n a1 -c conf/ -f job/file_to_kafka.conf

3）启动一个Kafka的Console-Consumer

[atguigu@hadoop102 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic car_data

4）生成数据

执行集群日志生成脚本。

[atguigu@hadoop102 ~]$ lg.sh 2023-05-03

5）观察Kafka消费者是否能消费到数据

6. Hive启动

1）登陆MySQL

2）启动Hive客户端

hive

3）连接DBeaver或者DataGrip，用到JDBC协议连接到Hive，故需要启动HiveServer2。

启动HiveServer2：hiveserver2

host：ip地址或者主机号 port:10000

7.DolphinScheduler

1）启动DolphinScheduler

先启整个集群：bin/start-all.sh

2）启动DolphinScheduler命令：bin/dolphinscheduler-daemon.sh start standalone-server

8. FineBI（未更）

9.Flink（YARN模式）

1）.先动Hadoop集群，包括HDFS和YARN

（2）执行脚本命令向YARN集群申请资源，开启一个YARN会话，启动Flink集群。

启动flink集群： bin/yarn-session.sh

10.HBase

1）.首先Zookeeper正常启动（集群：zk.sh）

三台节点：bin/zkServer.sh star

2）. Hadoop正常启动（集群：hdp.sh）

单节点：102：sbin/start-dfs.sh

单节点：103：sbin/start-yarn.sh

3）.HBase服务的启动

单点启动master和regionserver

[atguigu@hadoop102 hbase]$ bin/hbase-daemon.sh start master

[atguigu@hadoop102 hbase]$ bin/hbase-daemon.sh start regionserver

4).群启

[atguigu@hadoop102 hbase]$ bin/start-hbase.sh

对应的停止服务：

[atguigu@hadoop102 hbase]$ bin/stop-hbase.sh

查看HBase页面:http://hadoop102:16010

11.Redis

11.1Redis启动：redis-server ./my_redis.conf

过滤下是否启动成功：ps -ef | grep redis

atguigu 26373 1 0 11:34 ? 00:00:00 redis-server 127.0.0.1:6379

atguigu 26384 26303 0 11:35 pts/0 00:00:00 grep --color=auto redis

11.2 用客户端访问(写sql): redis-cli

11.3Redis关闭：

单实例关闭：redis-cli shutdown

进入终端后再关闭：

[atguigu@hadoop102 ~]$ redis-cli

127.0.0.1:6379> shutdown

not connected>

多实例关闭，指定端口关闭：redis-server ./my_redis.conf

redis-cli -p 6379 shutdown

12.Docker

1).启动 docker

sudo systemctl start docker

2). 开机自启动

sudo systemctl enable docker

13.Doris

启动命令：

1).FE 节点:

启动：bin/start_fe.sh

关闭：bin/stop_fe.sh

2).BE 节点：

启动：bin/start_be.sh

关闭：bin/stop_be.sh

3).使用 MySQL Client 连接 FE

mysql -h hadoop1 -P 9030 -uroot -p000000

原文地址：https://blog.csdn.net/2301_77257988/article/details/136358959

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：Debezium发布历史158
下一篇：蚂蚁流场景状态演进和优化

雷池+frp 批量设置proxy_protocol实现真实IP透传
内网部署safeline，通过frp让外网访问内部web网站服务，让safeline记录真实外网攻击IP
阅读更多2024-10-08
git&SVN提交规范
使用规范的提交消息可以让项目更加模块化、易于维护和理解，同时也便于自动化工具（如发布工具或 Changelog 生成器）解析和处理提交记录。通过编写符合规范的提交消息，可以让团队和协作者更好地理解项目
阅读更多2024-10-08
【包教包会】速通LLM《从头开始构建大型语言模型》免费pdf分享
书中详细介绍了如何规划和编写LLM的所有部分，准备适合LLM训练的数据集，以及如何使用人类反馈确保LLM遵循指令等关键步骤。在当今人工智能技术飞速发展的时代，大型语言模型（LLM）作为聊天机器人、文本
阅读更多2024-10-08
雷池+frp 批量设置proxy_protocol实现真实IP透传
内网部署safeline，通过frp让外网访问内部web网站服务，让safeline记录真实外网攻击IP
阅读更多2024-10-08
获取yolov8自带的数据集并开始训练
这些文件包含了关于每个数据集的路径、类别数、类别标签等信息，帮助模型正确地加载和解析数据集，以便进行训练和推理。每个 YAML 文件针对不同的数据集（比如 COCO、Brain Tumor、Globa
阅读更多2024-10-08
Python | 第八章 | 数据容器-2
1、元组(tuple)可以存放多个不同类型数据，元组是不可变序列tuple不可变是指当你创建了tuple时候，它就不能改变了，也就是说它也没有 append(), insert()这样的方法，但它也有
阅读更多2024-10-08
在java中使用redis
redis-java
阅读更多2024-10-08
HarmonyOS Next元服务开发快速入门案例
在resources>base>element>string.json中修改“app_name”值，该值表示“应用名称”。开源协议使用：Apache License 2.0 ，代码包
阅读更多2024-10-08
不动产证ocr识别场景解析、房产证识别API
不动产证OCR识别技术通过提供快速、准确的信息转换能力，不仅优化了多个行业的工作流程，还提高了数据处理的效率和准确性。随着技术的不断进步和应用场景的不断扩展，OCR技术在不动产领域的应用将越来越广泛，
阅读更多2024-10-08
算法题题解：合并两个有序链表（C语言和java实现）
LeetCode原题: 21. 合并两个有序链表C语言版java版谢谢观看！如果觉得博客对您有用的话，还请帮我点点赞，加个关注，一起学习算法。
阅读更多2024-10-08