【logstash】logstash使用多个子配置文件
这里有个误区在pipelines.yml中写conf.d/*，实测会有问题，不同的filter处理逻辑会复用。
现在有两个从kafka采集日志的配置文件：from_kafka1.conf，from_kafka2.conf
修改pipelines.yml配置文件
config/pipelines.yml
- pipeline.id: all.log
queue.type: persisted
path.config: "/opt/logstash-7.17.0/conf/*.conf"
启动各种异常报错。
正确写法：
config/pipelines.yml
- pipeline.id: one.log
queue.type: persisted
path.config: "/opt/logstash-7.17.0/conf/from_kafka1.conf"
pipeline.batch.size: 500
pipeline.batch.delay: 30
- pipeline.id: two.log
queue.type: persisted
path.config: "/opt/logstash-7.17.0/conf/from_kafka2.conf"
pipeline.batch.size: 2000
pipeline.batch.delay: 50
同时也可以根据pipeline.id设置不同的调优参数。
使用bin/logstash启动即可。
原文地址：https://blog.csdn.net/shen12138/article/details/140651986
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！