ELK 企业级日志分析系统

前置资源

一、ELK日志分析系统简介

• Elasticsearch：【搜索和存储】核心搜索和分析引擎，负责存储数据并提供快速的全文搜索和分析功能。
• Logstash：【收集数据与处理】数据收集和处理管道，能够从各种来源（如日志文件、数据库）收集数据，并进行过滤和转换，然后将其发送到Elasticsearch。
• Kibana：【数据可视化工具】提供图形界面来展示和分析存储在Elasticsearch中的数据，支持创建各种图表和仪表板。

二、Elasticsearch介绍

提供了一个分布式多用户能力的全文搜索引擎

2.1、核心功能

• 全文搜索：Elasticsearch最广为人知的功能是全文搜索。它能够对文本数据进行快速的全文索引和搜索，是实现复杂搜索功能的理想工具。
• 实时数据分析：支持实时的数据更新和查询，适合用于日志分析、监控数据的实时处理等场景。
• 分布式架构：Elasticsearch基于分布式架构设计，支持跨集群的数据存储和检索，使其在扩展性和性能上具有很大优势。
• RESTful API：Elasticsearch使用简单的HTTP接口（RESTful API），支持通过各种语言和平台进行集成。

2.2、 架构与组件

• 集群（Cluster）：一个或多个Elasticsearch节点（实例）组成一个集群，集群中的所有节点协同工作，共享数据和负载。
• 节点（Node）：运行Elasticsearch的单个实例，节点可以有不同的角色（如主节点、数据节点等），负责存储数据和处理查询。
• 索引（Index）：一个索引类似于传统数据库中的一个表，包含了一个数据集。每个索引都有唯一 的名称，用于引用其中的文档。
• 文档（Document）：Elasticsearch中的最小数据单元，每个文档是一个JSON格式的对象，存储在 索引中。
• 分片（Shard）：每个索引可以被分割为多个分片（shards），每个分片是一个Lucene索引。分片提供了数据的分布和并行处理能力，确保系统的高可用性和可扩展性。
• 副本（Replica）：每个分片都可以有一个或多个副本，用于数据冗余和提高系统的容错能力。

2.3、使用场景

• 日志和事件数据分析：适合处理大规模的日志、事件流数据，提供实时的查询和分析能力。常与 Logstash和Kibana（组成ELK Stack）一起使用。
• 全文搜索应用：如电子商务网站中的产品搜索，社交媒体平台的用户内容搜索。
• 监控和报警系统：通过与Kibana等工具结合，提供数据的可视化和实时监控功能。
• 商业智能（BI）：支持复杂数据查询和分析，帮助企业从数据中获取洞察。

2.4、 Elasticsearch优点与缺点

• 高性能：得益于Lucene的底层支持，Elasticsearch在处理全文搜索和分析操作时性能非常优越。
• 易扩展：其分布式架构设计使得集群可以随着数据量的增长而轻松扩展。
• 灵活性强：支持多种数据类型和复杂查询语法，可以适应各种不同的应用需求。
• 开放源代码：免费且活跃的社区支持，用户可以自由定制和扩展。

• 资源消耗：作为一个内存密集型应用，Elasticsearch对硬件资源的要求较高，尤其在处理大量数据时。
• 学习曲线：虽然Elasticsearch易于集成，但对于新手来说，理解其复杂的查询DSL（Domain
• Specific Language）和架构可能需要一些时间。
• 管理复杂性：在大型分布式集群环境中，管理和调优Elasticsearch需要相当的专业知识

三、Logstash介绍

3.1、主要特点

3.2、使用场景

• 日志收集和分析：从各种日志文件中提取数据（如系统日志、应用日志），然后将数据发送到
• Elasticsearch进行集中化分析和监控。
• 数据转换：在数据进入目标存储之前，对其进行清理、格式化和标准化处理。
• 数据流整合：从多种来源获取数据，将其汇聚到一个统一的平台进行进一步的分析和决策支持。

3.3 、其他数据收集组件

① Filebeat

四、Kibana介绍

4.1 Kibana 的主要功能

1.  数据可视化（Visualizations）:  
   Kibana 提供丰富的可视化工具，可以通过折线图、饼图、柱状图、地图等方式展示数据。 用户可以根据需求自定义图表样式，以便更好地分析和解读数据。 支持创建动态可视化，根据过滤器和时间范围即时更新显示内容。
2. 仪表板（Dashboards）:
   Kibana 的仪表板是一种用来展示多个可视化图表的集合，可以通过仪表板同时监控多个数据 来源或系统状态。
   仪表板支持交互式过滤器，用户可以在不同时间范围、不同条件下实时查看数据。
3. 日志管理和搜索（Log Management & Discovery）:
   Kibana 的 “Discovery” 功能提供了对 Elasticsearch 中存储的原始数据的实时搜索与过滤功能。
   用户可以根据条件快速查询和检索日志、数据记录等内容，并使用强大的过滤器和查询语言 （KQL 或 Lucene）来精准获取所需信息。
4. 时间序列分析（Time Series Analytics）:
   使用 Kibana 的 "TSVB"（Time Series Visual Builder），用户可以进行复杂的时间序列分析。
   它支持创建基于时间的数据图表，常用于监控系统性能、用户活动趋势等。
5. 报警与监控（Alerts & Monitoring）:
   Kibana 可以通过与 Elasticsearch 和 Logstash 的集成提供数据监控、报警通知功能。
   用户可以设置阈值，当数据达到某个条件时，Kibana 可以自动触发报警并发送通知。
6. 安全和访问控制（Security & Access Control）:
   Kibana 提供基于角色的访问控制，管理员可以根据用户角色来设置权限，例如是否允许访问 某些数据或仪表板。
   Kibana 支持与外部认证系统（如 LDAP、OAuth）集成。
7. 机器学习（Machine Learning）:
   Kibana 提供了与 Elastic Stack 的机器学习功能集成，用户可以对数据进行异常检测、趋势预测和自动模式识别。
   可以通过无监督的机器学习算法自动检测数据中的异常行为。
8. 地图和地理可视化（Maps & Geospatial Visualization）:
   Kibana 提供了强大的地理数据可视化功能，通过 Elastic Maps 可以显示地理数据、绘制地 图并叠加数据层。
   支持动态过滤和聚合地理数据，适用于位置数据分析、物流、地理信息系统等领域。
9.  Canvas 和报告（Canvas & Reporting）:
   Canvas: Kibana 的 Canvas 功能允许用户创建高度自定义的、视觉吸引力强的报告和展示。 Reporting: Kibana 支持自动生成报告，可以通过预定义模板或自定义的方式导出 PDF、CSV报告。
10. 监控（Monitoring）:
    Kibana 提供 Elastic Stack 组件的监控功能，帮助用户监控 Elasticsearch 集群、Logstash 管 道等系统的健康状况、性能和资源使用情况。

4.2 Kibana 的使用场景

4.3 Kibana 的工作原理

五、为什么要使用 ELK

六、部署ELK日志分析系统 

官方网站（中文） ：https://www.elastic.co/cn/downloads/

6.1、环境准备

1、关闭防火墙与增强功能 
systemctl stop firewalld #关闭防火墙
setenforce 0 #关闭增强功能
2、更改主机名、配置域名解析、查看Java环境
Node1节点：hostnamectl set-hostname node1
Node2节点：hostnamectl set-hostname node2
3、主机名与IP解析
vim /etc/hosts
192.168.88.76 node1
192.168.88.77 node2
4、java安装
注：版本问题
java -version#如果没有安装，yum -y install java
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)

6.2、Elasticsearch 集群部署

1、部署 Elasticsearch 软件
（1）安装elasticsearch—rpm包

cd /opt

rpm -ivh elasticsearch-6.6.1.rpm

（2）加载系统服务 

systemctl daemon-reload 命令在 Linux 系统中，特别是在使用 systemd 作为系统和服务管理器的系统上，扮演着重要的角色。这个命令的主要作用是重新加载 systemd 的配置文件，包括服务单元（unit）文件，但不重启任何服务。

systemctl daemon-reload
systemctl enable elasticsearch.service

（3）修改elasticsearch主配置文件

备份好习惯

cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak

vim /etc/elasticsearch/elasticsearch.yml

--17--取消注释，指定集群名字
cluster.name: my-elk-cluster
--23--取消注释，指定节点名字：Node1节点为node1，Node2节点为node2
node.name: node1
--33--取消注释，指定数据存放路径
path.data: /data/elk_data
--37--取消注释，指定日志存放路径
path.logs: /var/log/elasticsearch/
--43--取消注释，改为在启动的时候不锁定内存
bootstrap.memory_lock: false
--55--取消注释，设置监听地址，0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释，ES 服务的默认监听端口为9200
http.port: 9200
--68--取消注释，集群发现通过单播实现，指定要发现的节点 node1、node2
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

grep -v "^#" /etc/elasticsearch/elasticsearch.yml

cluster.name: my-elk-cluster
node.name: node1
path.data: /data/elk_data
path.logs: /var/log/elasticsearch/
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

（4）创建数据存放路径并授权

mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/

（5）启动elasticsearch是否成功开启

systemctl start elasticsearch.service
netstat -anulpt |grep 9200

（6）查看节点信息
浏览器访问  http://192.168.88.76:9200、http://192.168.88.77:9200查看节点 Node1、Node2 的信息。

浏览器访问

http://192.168.88.76:9200/_cluster/health?pretty

http://192.168.88.77:9200/_cluster/health?pretty

查看群集的健康情况，可以看到 status 值为 green（绿色）， 表示节点健康运行。

• 绿色：健康  数据和副本 全都没有问题
• 红色：数据都不完整
• 黄色：数据完整，但副本有问题

浏览器访问 http://192.168.88.77:9200/_cluster/state?pretty  检查群集状态信息。

使用上述方式查看群集的状态对用户并不友好，可以通过安装 Elasticsearch-head 插件，可以更方便地管理群集。

其他

如果不知道配置文件

rpm -qc elasticsearch

6.3、安装 Elasticsearch-head 插件

Elasticsearch 在 5.0 版本后，Elasticsearch-head 插件需要作为独立服务进行安装，需要使用npm 工具（NodeJS的包管理工具）安装。

• node：是一个基于 Chrome V8 引擎的 JavaScript 运行环境。
• phantomjs：是一个基于 webkit 的JavaScriptAPI，可以理解为一个隐形的浏览器，任何基于 webkit 浏览器做的事情，它都可以做到。

yum install gcc gcc-c++ make -y
cd /opt
tar zxvf node-v8.1.2.tar.gz
cd node-v8.1.2/
./configure
make && make install

cd /opt
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

cd /opt
tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/
cd /usr/local/src/elasticsearch-head/
npm install

--末尾添加以下内容--

http.cors.enabled: true                #开启跨域访问支持，默认为 false
http.cors.allow-origin: "*"            #指定跨域访问允许的域名地址为所有


---------------------------------------------------------------------------
http.cors.enabled: true
http.cors.allow-origin: "*"

Logstash 一般部署在需要监控其日志的服务器。在本案例中，Logstash 部署在 Apache 服务器上，用于收集 Apache 服务器的日志信息并发送到 Elasticsearch。

1．更改主机名
hostnamectl set-hostname apache

2．安装Apahce服务（httpd）
yum -y install httpd
systemctl start httpd

3．安装Java环境
yum -y install java
java -version

4．安装logstash
上传软件包 logstash-6.6.1.rpm 到/opt目录下
cd /opt
rpm -ivh logstash-6.6.1.rpm
systemctl start logstash.service
systemctl enable logstash.service

ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

5．测试 Logstash
Logstash 命令常用选项：

• -f：通过这个选项可以指定 Logstash 的配置文件，根据配置文件配置 Logstash 的输入和输出流。
• -e：从命令行中获取，输入、输出后面跟着字符串，该字符串可以被当作 Logstash 的配置（如果是空，则默认使用 stdin 作为输入，stdout 作为输出）。
• -t：测试配置文件是否正确，然后退出。

定义输入和输出流：
①、输入采用标准输入，输出采用标准输出（类似管道）

logstash -e 'input { stdin{} } output { stdout{} }'

www.baidu.com                                        #键入内容（标准输入）

执行 ctrl+c 退出

②、使用 rubydebug 输出详细格式显示，codec 为一种编解码器

logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'

www.baidu.com                                        #键入内容（标准输入）

③、使用 Logstash 将信息写入 Elasticsearch 中

logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.88.76:9200"] } }'

 输入                输出            对接
......
www.baidu.com                                        #键入内容（标准输入）
www.sina.com.cn                                        #键入内容（标准输入）
www.google.com                                        #键入内容（标准输入）

结果不在标准输出显示，而是发送至 Elasticsearch 中，可浏览器访问 http://192.168.88.86:9100/ 查看索引信息和数据浏览。

6．定义 logstash配置文件
Logstash 配置文件基本由三部分组成：input、output 以及 filter（可选，根据需要选择使用）。

• input：表示从数据源采集数据，常见的数据源如Kafka、日志文件等
• filter：表示数据处理层，包括对数据进行格式化处理、数据类型转换、数据过滤等，支持正则表达式
• output：表示将Logstash收集的数据经由过滤器处理之后输出到Elasticsearch。

格式如下：
input {...}
filter {...}
output {...}

在每个部分中，也可以指定多个访问方式。例如，若要指定两个日志来源文件，

则格式如下：
input {
    file { path =>"/var/log/messages" type =>"syslog"}
    file { path =>"/var/log/httpd/access.log" type =>"apache"}
}

修改 Logstash 配置文件，让其收集系统日志/var/log/messages，并将其输出到 elasticsearch 中。

让 Logstash 可以读取日志

chmod +r /var/log/messages

vim /etc/logstash/conf.d/system.conf

 注意格式！

input {
    file{
        path =>"/var/log/messages"                        #指定要收集的日志的位置
        type =>"system"                                    #自定义日志类型标识
        start_position =>"beginning"                    #表示从开始处收集
    }
}
output {
    elasticsearch {                                        #输出到 elasticsearch
        hosts => ["192.168.88.77:9200"]                    #指定 elasticsearch 服务器的地址和端口
        index =>"system-%{+YYYY.MM.dd}"                    #指定输出到 elasticsearch 的索引格式
    }
}

----------------------------------------------------------------------------------
input {
    file {
        path => "/var/log/messages"
        type => "system"
        start_position => "beginning"
    }
}

output {
    elasticsearch {
        hosts => ["192.168.88.76:9200"]
        index => "system-%{+YYYY.MM.dd}"
    }
}

 systemctl restart logstash

浏览器访问 http://192.168.88.76:9100/ 查看索引信息

6.5、 Kiabana 部署

（在 Node1 节点上操作）

官方网站 ：https://www.elastic.co/cn/downloads/kibana/

1．安装 Kiabana
上传软件包kibana-6.6.1-x86_64.rpm到/opt目录
cd /opt
rpm -ivh kibana-6.6.1-x86_64.rpm

2．设置 Kibana 的主配置文件

备份cp /etc/kibana/kibana.yml{,_bak-$(date +%Y.%m.%d)}

vim /etc/kibana/kibana.yml

--2--取消注释，Kiabana 服务的默认监听端口为5601
server.port: 5601
--7--取消注释，设置 Kiabana 的监听地址，0.0.0.0代表所有地址
server.host: "0.0.0.0"
--28--取消注释，设置和 Elasticsearch 建立连接的地址和端口
elasticsearch.hosts: ["http://192.168.10.13:9200"] 
--37--取消注释，设置在 elasticsearch 中添加.kibana索引
kibana.index: ".kibana"

 grep -v "^#" /etc/kibana/kibana.yml | grep -v "^$"

3．启动 Kibana 服务
systemctl start kibana.service
systemctl enable kibana.service

netstat -natp | grep 5601
 

4．验证 Kibana
浏览器访问 http://192.168.88.76:5601

第一次登录需要添加一个 Elasticsearch 索引：
Index Patterns---》create index Patterns

输入：system-*            #在索引名中输入之前配置的 Output 前缀“system”

然后--》Next step（下一步）--》Time Filter field name--》@timestarmp

单击 “create index Patterns” 按钮创建，单击 “Discover” 按钮可查看图表信息及日志信息。
数据展示可以分类显示，在“Available Fields”中的“host”，然后单击 “add”按钮，可以看到按照“host”筛选后的结果

后面再次创建的步骤---》Management--》index Patterns--》单击 “create index Patterns” 按钮创建

5．将 Apache 服务器的日志（访问的、错误的）添加到 Elasticsearch 并通过 Kibana 显示

vim /etc/logstash/conf.d/apache_log.conf

input {
    file {
        path => "/etc/httpd/logs/access_log"
        type => "access"
        start_position => "beginning"
    }
    file {
        path => "/etc/httpd/logs/error_log"
        type => "error"
        start_position => "beginning"
    }
}

output {
    if [type] == "access" {
        elasticsearch {
            hosts => ["192.168.88.76:9200"]
            index => "apache_access-%{+YYYY.MM.dd}"
        }
     }
    if [type] == "error" {
        elasticsearch {
            hosts => ["192.168.88.76:9200"]
            index => "apache_error-%{+YYYY.MM.dd}"
        }
     }
}

cd /etc/logstash/conf.d/
/usr/share/logstash/bin/logstash -f apache_log.conf

浏览器访问 http://192.168.88.76:9100 查看索引是否创建

我们会发现只有一个错误error的索引,那正确的access为什么没有呢

肯定是/etc/httpd/logs/access_log日志数据文件有问题

首先看一下文件存在

但是没有内容

访问http://192.168.88.200

浏览器访问 http://192.168.88.76:5601 登录 Kibana，

单击“Create Index Pattern”按钮添加索引， 在索引名中输入之前配置的 Output 前缀 apache_access-*，并单击“Create”按钮。

在用相同的方法添加 apache_error-*索引。
选择“Discover”选项卡，在中间下拉列表中选择刚添加的 apache_access-* 、apache_error-* 索引， 可以查看相应的图表及日志信息。

七、Filebeat+ELK 部署

单纯的ELK适合小型架构 ，ELFK是中型业务中用的，后面还会有大型的

官方网站（中文下载）：Download Filebeat • Lightweight Log Analysis | Elastic

在 Filebeat节点 节点上操作
https://www.elastic.co/cn/downloads/beats/filebeat
1．安装 Filebeat 两种
① 二进制解包即可
上传软件包 filebeat-6.2.4-linux-x86_64.tar.gz 到/opt目录
tar zxvf filebeat-6.2.4-linux-x86_64.tar.gz
mv filebeat-6.2.4-linux-x86_64/ /usr/local/filebeat

② 使用rpm包安装 上传包

rpm -ivh filebeat-6.6.1-x86_64.rpm

2．设置 filebeat 的主配置文件
① 如果使用第一种方式按照如下配置

vim /etc/filebeat/filebeat.yml

filebeat.inputs:
- type: log         #指定 log 类型，从日志文件中读取消息
  enabled: true
  paths:
    - /var/log/messages       #指定监控的日志文件
    - /var/log/*.log
  fields:           #可以使用 fields 配置选项设置一些参数字段添加到 output 中
    service_name: filebeat
    log_type: log
    service_id: 192.168.88.78

--------------Elasticsearch output-------------------
(全部注释掉)

----------------Logstash output---------------------
#放开
output.logstash:
  hosts: ["192.168.88.200:5044"]      #指定 logstash 的 IP 和端口

启动 filebeat

filebeat -e -c filebeat.yml

但是我们没有去设5044，看3

② rpm包方式安装    配置都一样（同）

vim /etc/filebeat/filebeat.yml

3．在 Logstash 组件所在节点上新建一个 Logstash 配置文件
cd /etc/logstash/conf.d

vim logstash.conf

input {
    beats {
        port => "5044"
    }
}
output {
    elasticsearch {
        hosts => ["192.168.88.76:9200"]
        index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"
    }
    stdout {
        codec => rubydebug
    }
}

启动 logstash 

logstash -f logstash.conf

4．浏览器访问 http://192.168.88.76:5601 登录 Kibana，

先点击Management-->“Index Pattern”-->“Create Index Pattern”按钮创建-->选择输入“Index Pattern”-->然后Next step（下一步）-->Time Filter field name-->@timestarmp

单击 “Discover” 按钮可查看图表信息及日志信息。  按钮添加索引“filebeat-*”

其他

遇到了一个问题

netstat -tulnp | grep 5044

占用

kill -9  进程号 

原文地址：https://blog.csdn.net/YCyjs/article/details/142331323

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！