023、ELK 从入门到实践

🕗 发布于 2024-11-18 10:03 elk

ELK 从入门到实践

第一章：ELK基础概念

1.1 为什么需要ELK?

传统日志处理的痛点

日志分散
- 应用部署在不同服务器
- 需要逐个登录查看
- 无法统一管理
查询困难
- 只能用grep等命令
- 无法复杂检索
- 分析效率低
展示受限
- 纯文本格式
- 无法可视化
- 难以直观展示

ELK的解决方案

集中化管理
- 统一收集所有日志
- 集中存储和检索
- 一站式管理平台
强大的搜索能力
- 全文检索
- 复杂查询
- 实时分析
可视化展示
- 丰富的图表
- 实时监控
- 自定义仪表盘

1.2 组件详解

Elasticsearch

核心功能
- 分布式搜索引擎
- 数据存储和索引
- 提供REST API

工作原理

数据 -> 分片存储 -> 倒排索引 -> 快速检索

重要概念
- Index(索引): 类似数据库
- Type(类型): 类似表
- Document(文档): 类似行记录
- Field(字段): 类似列

Logstash

数据处理流程
```
Input -> Filter -> Output
```
主要功能
- 收集多源数据
- 实时解析转换
- 数据过滤处理
插件体系
- input插件: file, syslog, kafka等
- filter插件: grok, date, mutate等
- output插件: elasticsearch, redis等

Kibana

可视化功能
- Discover: 数据探索
- Visualize: 图表制作
- Dashboard: 仪表盘
- Dev Tools: 开发工具
数据分析能力
- 聚合分析
- 趋势图表
- 地理信息

第二章：环境准备详解

2.1 服务器规划

硬件配置

# 节点配置
node1/node2: 
- CPU: 2核
- 内存: 4G
- 磁盘: 50G

# IP规划
node1: 192.168.91.100    # Elasticsearch主节点
node2: 192.168.91.101    # Elasticsearch从节点
apache: 192.168.91.103   # Logstash + Kibana + Apache

配置说明:

CPU配置
- ES是CPU密集型应用
- 需要处理复杂查询
- 2核满足基本需求
内存配置
- ES大量使用内存缓存
- JVM堆内存建议2G
- 系统预留2G
- 避免使用swap
磁盘配置
- 日志数据增长快
- 需要定期清理
- 建议使用SSD
- 预留足够空间
网络要求
- 内网环境部署
- 千兆网络
- 集群间通信
- 数据传输安全

2.2 基础环境配置

Java环境

# 安装Java
yum -y install java

# 验证版本
java -version

# 建议使用Java 8
# ELK 6.x版本最兼容Java 8

系统优化

# 关闭防火墙
systemctl disable --now firewalld

# 关闭SELinux
setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config

优化说明:

关闭防火墙原因
- ELK组件间通信频繁
- 需要多个端口
- 简化部署过程
- 生产环境建议配置安全组
关闭SELinux原因
- 避免权限问题
- 简化配置过程
- 生产环境可以配置策略

系统限制调整

# 修改系统限制
vim /etc/security/limits.conf
*  soft    nofile          65536
*  hard    nofile          65536
*  soft    nproc           32000
*  hard    nproc           32000
*  soft    memlock         unlimited
*  hard    memlock         unlimited

参数详解:

nofile(文件描述符)
- 为什么要调大?
  - ES需要大量打开文件
  - 默认1024太小
  - 建议65536或更大
- soft/hard区别
  - soft: 警告限制
  - hard: 硬性限制
  - 建议设置相同
nproc(进程数)
- 调整原因
  - ES会创建多个进程
  - 需要足够进程数
  - 默认值可能不够
memlock(内存锁定)
- 作用
  - 防止内存交换
  - 提高性能
  - 保证稳定性

内核参数优化

# 修改内核参数
vim /etc/sysctl.conf
vm.max_map_count=262144

# 立即生效
sysctl -p

参数说明:

max_map_count
- 定义
  - 限制进程内存映射区域数量
  - 影响ES内存使用
  - 过小会启动失败
- 设置建议
  - 2G内存: 262144
  - 4G内存: 524288
  - 8G内存: 1048576

第三章：Elasticsearch部署详解

3.1 安装过程

软件安装

# 安装ES
rpm -ivh elasticsearch-6.7.2.rpm

# 创建配置备份
cd /etc/elasticsearch/
mkdir bak
cp -a *.yml bak/

安装说明:

目录结构

/etc/elasticsearch/: 配置文件目录
/usr/share/elasticsearch/: 程序文件目录
/var/lib/elasticsearch/: 数据目录
/var/log/elasticsearch/: 日志目录

备份原因
- 保留原始配置
- 便于回滚
- 作为参考模板

3.2 配置详解

核心配置

# 集群配置
cluster.name: my-elk-cluster    # 集群名称
node.name: node1               # 节点名称
node.master: true             # 主节点角色
node.data: true              # 数据节点角色

# 内存配置
bootstrap.memory_lock: true   # 锁定内存

# 网络配置
network.host: 0.0.0.0        # 监听地址
http.port: 9200             # HTTP端口
transport.tcp.port: 9300    # 集群通信端口

# 集群发现
discovery.zen.ping.unicast.hosts: ["192.168.91.100:9300", "192.168.91.101:9300"]

配置详解:

集群配置
- cluster.name
  - 标识集群的唯一名称
  - 所有节点必须相同
  - 建议有意义的名称
- node.name
  - 节点唯一标识
  - 建议使用主机名
  - 集群内不能重复
节点角色
- master节点职责
  - 管理集群状态
  - 处理索引操作
  - 分片分配决策
  - 集群状态维护
- data节点职责
  - 存储数据
  - 处理CRUD
  - 执行搜索
  - 数据聚合分析
内存管理
- bootstrap.memory_lock
  - 锁定物理内存
  - 禁止swap
  - 提高性能
  - 保证稳定性
网络设置
- network.host
  - 0.0.0.0表示所有接口
  - 生产环境指定IP
  - 安全性考虑
- 端口说明
  - 9200: REST API接口
  - 9300: 节点间通信
  - 注意防火墙配置
集群发现机制
- unicast发现
  - 显式指定节点列表
  - 比广播更可靠
  - 生产环境推荐
  - 支持域名配置

启动验证

# 启动服务
systemctl enable --now elasticsearch

# 检查端口
netstat -antp | grep 9200

# 验证集群
curl http://localhost:9200/_cluster/health?pretty

验证说明:

服务启动
- enable: 开机自启
- –now: 立即启动
- 检查状态: systemctl status elasticsearch
端口检查
- 9200端口正常监听
- 确认IP和端口绑定
- 检查进程状态
集群健康检查
- green: 完全健康
- yellow: 副本未分配
- red: 主分片未分配

3.3 插件安装配置

Head插件安装

# 安装node
cd /opt
tar zxvf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure
make && make install

# 安装phantomjs
cd /opt
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2
ln -s /opt/phantomjs-2.1.1-linux-x86_64/bin/phantomjs /usr/bin

# 安装head插件
cd /opt
unzip elasticsearch-head-master.zip
cd elasticsearch-head/
npm install

安装说明:

依赖组件
- node.js: JavaScript运行环境
- phantomjs: 无头浏览器
- npm: 包管理工具
head插件功能
- 集群状态监控
- 索引数据查看
- 执行简单操作
- 可视化管理

配置ES支持head

# 添加到elasticsearch.yml
http.cors.enabled: true
http.cors.allow-origin: "*"

配置说明:

cors.enabled
- 启用跨域访问
- head插件需要
cors.allow-origin
- 允许所有来源
- 生产环境应限制

启动head插件

cd /opt/elasticsearch-head/
npm run start &

# 访问测试
http://192.168.91.100:9100

使用说明:

连接集群
- 输入ES地址
- 检查连接状态
- 查看集群健康
常用功能
- 索引管理
- 数据浏览
- 简单查询
- 集群监控

第四章：Logstash部署详解

4.1 基础安装

软件安装

# 安装Logstash
rpm -ivh logstash-6.7.2.rpm

# 启动服务
systemctl enable --now logstash.service

# 创建软链接
ln -s /usr/share/logstash/bin/logstash /usr/bin/

安装说明:

目录结构

/etc/logstash/: 配置文件目录
/usr/share/logstash/: 程序目录
/var/log/logstash/: 日志目录

软链接作用
- 方便命令执行
- 无需指定完整路径
- 简化操作过程

4.2 配置文件详解

基本结构

input { }    # 输入配置
filter { }   # 过滤配置
output { }   # 输出配置

配置说明:

input部分
- 定义数据来源
- 支持多种输入
- 常用插件：file, beats, syslog
filter部分
- 数据处理转换
- 格式化解析
- 字段处理
output部分
- 定义输出目标
- 支持多目标输出
- 常用：elasticsearch, redis

系统日志收集示例

input {
    file {
        path => "/var/log/messages"
        type => "system"
        start_position => "beginning"
        stat_interval => "3"
    }
}

output {
    elasticsearch {
        hosts => ["192.168.91.100:9200","192.168.91.101:9200"]
        index => "system-%{+YYYY.MM.dd}"
    }
}

配置解析:

input配置
- path: 日志文件路径
- type: 日志类型标识
- start_position: 读取位置
- stat_interval: 扫描间隔
output配置
- hosts: ES集群地址
- index: 索引名称模板
- 支持时间变量

第五章：Kibana部署详解

5.1 基础安装

# 安装Kibana
rpm -ivh kibana-6.7.2-x86_64.rpm

# 创建配置备份
cd /etc/kibana/
cp kibana.yml kibana.yml.bak

5.2 配置详解

# kibana.yml 核心配置
server.port: 5601                # 访问端口
server.host: "0.0.0.0"          # 监听地址
elasticsearch.hosts: ["http://192.168.91.100:9200", "http://192.168.91.101:9200"]  # ES地址
kibana.index: ".kibana"         # 配置索引
i18n.locale: "zh-CN"           # 中文界面
logging.dest: /var/log/k.log    # 日志文件

配置说明:

服务配置
- server.port: 访问端口
- server.host: 监听地址
  - 0.0.0.0表示所有接口
  - 生产环境建议限制
ES连接配置
- elasticsearch.hosts
  - 支持多个ES节点
  - 实现负载均衡
  - 提高可用性
其他设置
- kibana.index: 存储Kibana配置
- i18n.locale: 界面语言
- logging.dest: 日志位置

5.3 启动与验证

# 设置日志文件权限
chown kibana:kibana /var/log/k.log

# 启动服务
systemctl enable --now kibana

# 检查端口
ss -nap |grep 5601

访问地址模板：http://192.168.91.103:5601

第六章：ELK Stack 常见问题与解决方案

6.1 安装阶段问题

1. RPM包安装问题

现象1： 安装时报依赖错误

error: Failed dependencies: java-1.8.0-openjdk is needed by elasticsearch

解决方案：

# 检查Java版本
java -version

# 安装正确版本Java
yum install java-1.8.0-openjdk* -y

# 如果存在多个Java版本，设置默认版本
alternatives --config java

现象2： 提示文件冲突

file /etc/elasticsearch/elasticsearch.yml from install of elasticsearch conflicts with...

解决方案：

# 备份已存在的配置
mv /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak

# 强制安装
rpm -ivh --force elasticsearch-6.7.2.rpm

2. 目录权限问题

现象： 启动服务报权限错误

failed to create node environment
java.security.AccessControlException: access denied

解决方案：

# 检查目录权限
ls -l /var/lib/elasticsearch
ls -l /var/log/elasticsearch

# 修正权限
chown -R elasticsearch:elasticsearch /var/lib/elasticsearch
chown -R elasticsearch:elasticsearch /var/log/elasticsearch
chmod 755 /var/lib/elasticsearch
chmod 755 /var/log/elasticsearch

# 检查目录存在
mkdir -p /var/lib/elasticsearch
mkdir -p /var/log/elasticsearch

6.2 启动阶段问题

1. 内存相关问题

现象1： 启动时报内存锁定错误

[1]: max virtual memory areas vm.max_map_count [65530] is too low

解决方案：

# 临时修改
sysctl -w vm.max_map_count=262144

# 永久修改
echo "vm.max_map_count=262144" >> /etc/sysctl.conf
sysctl -p

现象2： bootstrap checks failed

memory locking requested for elasticsearch process but memory is not locked

解决方案：

# 检查limits配置
cat /etc/security/limits.conf

# 添加配置
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited

# 检查systemd配置
vim /usr/lib/systemd/system/elasticsearch.service
LimitMEMLOCK=infinity

# 重载systemd
systemctl daemon-reload

2. 网络相关问题

现象1： 无法绑定端口

[ERROR][o.e.b.Bootstrap] [node1] bind_exception

解决方案：

# 检查端口占用
netstat -tulpn | grep 9200
netstat -tulpn | grep 9300

# 如果端口被占用，找到并关闭进程
fuser -k 9200/tcp
fuser -k 9300/tcp

# 检查防火墙
firewall-cmd --list-ports
firewall-cmd --permanent --add-port=9200/tcp
firewall-cmd --permanent --add-port=9300/tcp
firewall-cmd --reload

现象2： 集群节点无法发现

no known nodes

解决方案：

# 检查配置文件中的host配置
vim elasticsearch.yml

# 确保network.host配置正确
network.host: 0.0.0.0

# 检查节点间通信
ping 对方节点IP
telnet 对方节点IP 9300

# 检查hosts文件
vim /etc/hosts
添加节点IP和主机名映射

6.3 运行阶段问题

1. 日志文件问题

现象1： Logstash无法读取日志

Failed to open file {...} Permission denied

解决方案：

# 检查文件权限
ls -l /var/log/messages

# 添加logstash用户到相应组
usermod -a -G adm logstash
usermod -a -G root logstash

# 修改日志文件权限
chmod 644 /var/log/messages

# 检查SELinux
getenforce
setenforce 0

现象2： 日志轮转后无法继续读取

Failed to open file: no such file or directory

解决方案：

# 检查logrotate配置
vim /etc/logrotate.d/nginx

# 添加create权限
create 0644 nginx nginx

# 确保新建日志文件权限正确
chmod 644 /var/log/nginx/access.log

2. 性能问题

现象1： ES查询响应慢

took: 15000ms

解决方案：

# 检查堆内存设置
cat /etc/elasticsearch/jvm.options

# 调整堆内存
-Xms4g
-Xmx4g

# 检查索引设置
curl -XGET 'localhost:9200/_settings?pretty'

# 优化索引设置
curl -XPUT 'localhost:9200/_settings' -H 'Content-Type: application/json' -d '
{
    "index" : {
        "refresh_interval" : "30s",
        "number_of_replicas" : 1
    }
}'

现象2： Logstash处理延迟

Pipeline has blocked

解决方案：

# 调整pipeline配置
vim /etc/logstash/pipelines.yml

# 添加pipeline设置
pipeline.workers: 2
pipeline.batch.size: 125
pipeline.batch.delay: 50

# 使用持久化队列
queue.type: persisted
queue.max_bytes: 1gb

3. 磁盘问题

现象1： 磁盘空间不足

[WARN] disk usage exceeded 85%

解决方案：

# 检查磁盘使用
df -h

# 查看索引大小
curl -XGET 'localhost:9200/_cat/indices?v'

# 删除旧索引
curl -XDELETE 'localhost:9200/logstash-2024.01.*'

# 设置索引生命周期
curl -XPUT 'localhost:9200/_ilm/policy/my_policy' -H 'Content-Type: application/json' -d '
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {}
      },
      "delete": {
        "min_age": "7d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}'

现象2： 索引只读

index read-only/allow delete (api)

解决方案：

# 检查磁盘使用阈值
curl -XGET 'localhost:9200/_cluster/settings?pretty'

# 修改磁盘阈值设置
curl -XPUT 'localhost:9200/_cluster/settings' -H 'Content-Type: application/json' -d '
{
  "persistent": {
    "cluster.routing.allocation.disk.threshold_enabled": true,
    "cluster.routing.allocation.disk.watermark.low": "85%",
    "cluster.routing.allocation.disk.watermark.high": "90%",
    "cluster.routing.allocation.disk.watermark.flood_stage": "95%"
  }
}'

# 解除索引只读
curl -XPUT 'localhost:9200/_all/_settings' -H 'Content-Type: application/json' -d '
{
  "index.blocks.read_only_allow_delete": null
}'

4. Kibana展示问题

现象1： 无法显示数据

No results found

解决方案：

# 检查索引模式配置
Management -> Index Patterns

# 确认时间范围设置
调整时间选择器范围

# 检查索引是否存在
curl -XGET 'localhost:9200/_cat/indices?v'

# 验证字段映射
curl -XGET 'localhost:9200/索引名称/_mapping?pretty'

现象2： 图表加载慢

Loading...一直显示

解决方案：

# 检查浏览器控制台错误
F12 -> Console

# 优化查询设置
vim /etc/kibana/kibana.yml
elasticsearch.requestTimeout: 60000
elasticsearch.shardTimeout: 30000

# 减少时间范围
使用较小的时间窗口

# 使用索引模板优化
curl -XPUT 'localhost:9200/_template/template_1' -H 'Content-Type: application/json' -d '
{
  "index_patterns": ["logstash-*"],
  "settings": {
    "number_of_shards": 1,
    "number_of_replicas": 1
  }
}'

6.4 其他常见问题

1. 时区问题

现象： 日志时间显示不正确
解决方案：

# 检查系统时区
timedatectl

# 修改系统时区
timedatectl set-timezone Asia/Shanghai

# 修改Kibana配置
vim /etc/kibana/kibana.yml
dateFormat:tz: Asia/Shanghai

# 修改Logstash配置
filter {
  date {
    match => [ "timestamp", "ISO8601" ]
    target => "@timestamp"
    timezone => "Asia/Shanghai"
  }
}

2. 字符编码问题

现象： 日志中文显示乱码
解决方案：

# 检查系统编码
locale

# 设置系统编码
export LANG=zh_CN.UTF-8

# Logstash配置添加编码设置
input {
  file {
    path => "/var/log/messages"
    codec => plain { charset => "UTF-8" }
  }
}

# 检查日志文件编码
file -i /var/log/messages

# 转换文件编码
iconv -f GBK -t UTF-8 input.log > output.log

3. 内存泄漏问题

现象： 服务占用内存持续增长
解决方案：

# 监控内存使用
top -p `pgrep -f elasticsearch`

# 查看GC日志
vim /etc/elasticsearch/jvm.options
-Xlog:gc*,gc+age=trace,safepoint:file=/var/log/elasticsearch/gc.log:utctime,pid,tags:filecount=32,filesize=64m

# 分析堆内存
jmap -heap PID

# 调整JVM参数
vim /etc/elasticsearch/jvm.options
-XX:+HeapDumpOnOutOfMemoryError
-XX:HeapDumpPath=/var/log/elasticsearch/

4.主机压缩包传不上xshell

解决办法：

yum -y install lrzsz

5.tar解压bz2包失败(同上)

tar (child): bzip2：无法 exec: 没有那个文件或目录

解决办法：

yum install -y bzip2

6.make出错

出错示例：

[root@localhost opt]# yum -y install make
软件包 1:make-3.82-24.el7.x86_64 已安装并且是最新版本
无须任何处理
[root@localhost opt]# make -j2
make: *** 没有指明目标并且找不到 makefile。停止。
[root@localhost zabbix-4.0.30]# make install
make: *** 没有规则可以创建目标“install”。停止。

解决办法：

[root@localhost opt]# yum -y install make
[root@localhost opt]# yum -y install gcc

[root@localhost opt]#./configur

原文地址：https://blog.csdn.net/yueqingll/article/details/143785174

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：Rust 数据类型
下一篇：【微服务】SpringBoot 整合ELK使用详解

计算机网络谢希仁第五章课后题【背诵版本】
（结合谢希仁p234图记一下图）Karn 算法。在计算加权平均 RTTs时，只要报文段重传了，就不采用其往返时间样本。这样得出的加权平均 RTTs和 RTO 就较准确。（允许TCP能够区分开有效和无效
阅读更多2024-11-18
【伪造检测】Noise Based Deepfake Detection via Multi-Head Relative-Interaction
实现的，这是一种由于相机感光传感器而造成的缺陷噪声，主要用图像的源识别，在伪造检测的任务中并没有很好的表现。伪造人脸图像只会对人脸进行操作，为了能够防止在背景信息中也提取到被操作的像素，在选取背景
阅读更多2024-11-18
✅DAY30 贪心算法 | 452. 用最少数量的箭引爆气球 | 435. 无重叠区间 | 763.划分字母区间
解题思路：首先把原数组按左边界进行排序。然后比较[i-1]的右边界和[i]的左边界是否重叠，如果重叠，更新当前右边界为最小右边界和[i+1]的左边界判断是重叠。的方式通常更直观，因为只需要维护一个变量
阅读更多2024-11-18
esp32学习：windows下idf离线安装（最简单）
安装下来，可linux下的一样，里面使用命令，常用的就几个命令，编译起来速度还行，可以用vscode对代码进行编辑。很多朋友学习esp32时发现，安装idf很麻烦，需要很多依赖，那有没有简单的方法呢，
阅读更多2024-11-18
Redisson 中开启看门狗（watchdog）机制
在 Redisson 中，当使用分布式锁时，如果设置了锁的超时时间，那么在获取锁成功后，Redisson 会启动一个后台线程（即看门狗）来不断地延长锁的过期时间，只要锁没有被显式释放，看门狗就会一直工
阅读更多2024-11-18
ubuntu 安装protobuf 3.4.0
文件，这样 CMake 才能找到必要的构建配置文件。如果问题仍然存在，请检查文件目录结构，确保没有遗漏下载的文件。：你需要进入下载的 Protocol Buffers 源代码的根目录。的根目录，然后
阅读更多2024-11-18
spring boot接收参数
spring boot接受参数
阅读更多2024-11-18
使用SimpleDateFormat的踩坑指南
本文主要介绍了SimpleDateFormat的常用用法，并且给出了使用SimpleDateFormat会有线程不安全问题，并发场景下会踩坑。同时也给出了如何让其在并发场景下也能正常使用的解决方案。
阅读更多2024-11-18
C++ 内联函数
定义内联函数：如前文所述，在函数声明或定义前加上关键字inline即可定义一个内联函数。既可以在函数声明时添加inline关键字，也可以在函数定义时添加，例如：// 函数声明为内联函数// 函数定义为
阅读更多2024-11-18
MyBatis框架快速入门
MyBatis 是一款优秀的。
阅读更多2024-11-18

023、ELK 从入门到实践

ELK 从入门到实践

第一章：ELK基础概念

1.1 为什么需要ELK?

传统日志处理的痛点

ELK的解决方案

1.2 组件详解

Elasticsearch

Logstash

Kibana

第二章：环境准备详解

2.1 服务器规划

硬件配置

2.2 基础环境配置

Java环境

系统优化

系统限制调整

内核参数优化

第三章：Elasticsearch部署详解

3.1 安装过程

软件安装

3.2 配置详解

核心配置

启动验证

3.3 插件安装配置

Head插件安装

配置ES支持head

启动head插件

第四章：Logstash部署详解

4.1 基础安装

软件安装

4.2 配置文件详解

基本结构

系统日志收集示例

第五章：Kibana部署详解

5.1 基础安装

5.2 配置详解

5.3 启动与验证

第六章：ELK Stack 常见问题与解决方案

6.1 安装阶段问题

1. RPM包安装问题

2. 目录权限问题

6.2 启动阶段问题

1. 内存相关问题

2. 网络相关问题

6.3 运行阶段问题

1. 日志文件问题

2. 性能问题

3. 磁盘问题

4. Kibana展示问题

6.4 其他常见问题

1. 时区问题

2. 字符编码问题

3. 内存泄漏问题

4.主机压缩包传不上xshell

5.tar解压bz2包失败(同上)

6.make出错

相关文章