Bootstrap

2. Logstash 安装部署

1. Logstash 工作原理

2.安装前JAVA环境提前部署好(java 部署安装请参考 Elasticsearch 安装部署)

3.下载logshtash 安装包

cd logstash-6.4.0 bin/logstash -e 'input {stdin {}} output {stdout {}}'

4. Logstash 进程启动说明

./logstash -f ../config/logstashsc.conf & #logstash 进程启动

./logstash -f ../config/network.conf --config.reload.automatic &自动加载进程

 

5.配置讲解说明

Logstash adds timestamp and IP address information to the message. Exit Logstash by issuing a CTRL-D command in the shell where Logstash is running.

Congratulations! You’ve created and run a basic Logstash pipeline. Next, you learn how to create a more realistic pipeline.

https://www.elastic.co/guide/en/logstash/6.4/config-setting-files.html # 配置讲解

 

目录文件说明

                     https://www.elastic.co/guide/en/logstash/6.2/dir-layout.html

 

           配置讲解

                     https://www.elastic.co/guide/en/logstash/6.2/logstash-settings-file.html

6. Logstash 性能调优

检查jvm堆

1)、如果堆大小过低,CPU利用率通常会通过屋顶,从而导致JVM不断地进行垃圾收集。

 

2)、快速检查这个问题的方法是将堆大小增加一倍,看看性能是否有所改善。不要将堆大小增加到物理内存的数量。至少为操作系统和其他进程留出1 GB的空间。

 

3)、使用专门的工具对jvm进行精确的监控

 

4)、一定要确保将最小(Xms)和最大值(Xmx)堆分配大小设置为相同的值,以防止堆在运行时调整大小,这是一个非常昂贵的过程(我使用yum安装之后的值就不相等,再加上分配的内存过小,导致CPU一致非常的高)。

 

     logstash.yml  修改 pipeline.workers,根据CPU核数增加1到2即可

      jvm.options          修改 xms和xmx为相同,一般是系统内存三份之二