自学内容网 自学内容网

Linux下如何安装配置Elastic Stack日志收集系统

安装和配置Elastic Stack日志收集系统,包括Elasticsearch、Logstash和Kibana,是一个相对复杂的过程。本篇文章将逐步引导您完成整个过程。

  1. 安装Java

Elasticsearch、Logstash和Kibana都需要Java运行环境。首先,您需要在Linux系统上安装Java。可以使用如下命令来安装OpenJDK 8:

sudo apt update
sudo apt install openjdk-8-jdk

安装完成后,可以通过运行以下命令来验证Java是否正确安装:

java -version
  1. 安装Elasticsearch

Elasticsearch是Elastic Stack的核心组件,用于存储和索引日志数据。您可以通过以下步骤在Linux系统上安装Elasticsearch:

2.1 下载Elasticsearch

在Elasticsearch官方网站上下载最新的稳定版本的Elasticsearch。您可以使用以下命令下载并安装Elasticsearch 7.4.2版本:

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.4.2-linux-x86_64.tar.gz
tar -xzf elasticsearch-7.4.2-linux-x86_64.tar.gz

2.2 启动Elasticsearch

解压后,进入Elasticsearch目录,并执行以下命令启动Elasticsearch:

cd elasticsearch-7.4.2
./bin/elasticsearch

Elasticsearch会在后台启动。您可以通过运行以下命令来验证它是否正在运行:

curl -XGET 'http://localhost:9200'

如果成功运行,您将看到Elasticsearch的版本信息。

2.3 设置Elasticsearch自动启动

为了方便管理,我们可以将Elasticsearch配置为随系统启动而自动启动。将以下内容添加到/etc/rc.local文件中:

/opt/elasticsearch-7.4.2/bin/elasticsearch -d
  1. 安装Logstash

Logstash是Elastic Stack的另一个重要组件,用于收集、过滤和转换日志数据。以下是在Linux系统上安装Logstash的步骤:

3.1 下载Logstash

访问Logstash官方网站,下载最新版本的Logstash。您可以使用以下命令下载并安装Logstash 7.4.2版本:

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.4.2.tar.gz
tar -xzf logstash-7.4.2.tar.gz

3.2 创建Logstash配置文件

在Logstash目录下创建一个名为logstash.conf的配置文件。此文件将定义Logstash的输入、过滤器和输出配置。

cd logstash-7.4.2
vi logstash.conf

在该文件中,您需要指定输入源、过滤器和输出源。以下是一个示例配置文件:

input {
  file {
    path => "/var/log/nginx/access.log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "nginx_logs"
  }
  stdout { codec => rubydebug }
}

上述配置将从/var/log/nginx/access.log文件中读取日志数据,使用grok过滤器解析日志格式,并将数据存储到Elasticsearch中的nginx_logs索引中。

3.3 启动Logstash

通过运行以下命令,您可以启动Logstash并应用配置文件:

./bin/logstash -f logstash.conf

Logstash将在后台运行,并开始收集和处理日志数据。您可以根据需要自定义Logstash的配置文件。

  1. 安装Kibana

Kibana是Elastic Stack的可视化工具,用于分析和展示日志数据。以下是在Linux系统上安装Kibana的步骤:

4.1 下载Kibana

访问Kibana官方网站,下载最新版本的Kibana。您可以使用以下命令下载并安装Kibana 7.4.2版本:

wget https://artifacts.elastic.co/downloads/kibana/kibana-7.4.2-linux-x86_64.tar.gz
tar -xzf kibana-7.4.2-linux-x86_64.tar.gz

4.2 启动Kibana

进入Kibana目录,并执行以下命令启动Kibana:

cd kibana-7.4.2-linux-x86_64
./bin/kibana

Kibana将在后台启动。您可以通过运行以下命令来验证它是否正在运行:

curl -XGET 'http://localhost:5601'

如果成功运行,您将看到Kibana的版本信息。

4.3 设置Kibana自动启动

为了方便管理,我们可以将Kibana配置为随系统启动而自动启动。将以下内容添加到/etc/rc.local文件中:

/opt/kibana-7.4.2-linux-x86_64/bin/kibana -d
  1. 使用Kibana分析日志数据

当Elasticsearch、Logstash和Kibana都正确安装和配置后,您可以使用Kibana来分析和可视化日志数据。

5.1 访问Kibana控制台

在浏览器中访问http://localhost:5601,您将看到Kibana的控制台界面。

5.2 创建索引模式

在控制台界面的左侧导航栏中,选择"Management",然后选择"Index Patterns"。点击"Create index pattern"按钮来创建一个新的索引模式。

在"Index pattern"字段中输入索引的名称(例如,nginx_logs),然后点击"Next step"按钮。

在"Time filter field name"字段中选择时间字段,然后点击"Create index pattern"按钮。

5.3 探索和可视化数据

在控制台界面的左侧导航栏中,选择"Discover"或"Visualize",您可以使用Kibana的各种工具和功能来分析和可视化日志数据。

以上就是在Linux系统上安装和配置Elastic Stack日志收集系统的步骤。通过Elasticsearch、Logstash和Kibana的组合,您可以有效地收集、处理和分析大量的日志数据。


原文地址:https://blog.csdn.net/m0_37649480/article/details/140614632

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!