目录
1.ES安装
es版本使用elasticsearch-7.1.1-linux-x86_64.tar.gz
1.1创建文件夹
/home下创建文件夹software
[root@localhost home]# ls
esb
[root@localhost home]# mkdir sotfware
[root@localhost home]# ls
esb sotfware
[root@localhost home]#
1.2下载es
1.2.1 可以直接在linux使用wget直接下载
[root@localhost /]# cd /home/sotfware/
[root@localhost sotfware]# ls
[root@localhost sotfware]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.1.1-linux-x86_64.tar.gz
1.2.2 .windows迅雷下载
如果linux下载太慢,直接使用迅雷下载好后直接使用,下载地址https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.1.1-linux-x86_64.tar.gz
下载完后直接上传到/home/software目录
1.3 解压安装
解压到/usr/local下。
tar -zxvf elasticsearch-7.1.1-linux-x86_64.tar.gz -C /usr/local
1.3.1 JDK冲突解决
linux7版本本身自带了jdk环境,如果系统没有配置,则会使用自己所带的jdk版本。
如果linux本身配置了java环境,es会使用linux系统配置的java环境。此时,如果和版本不对应可能会发生冲突。解决办法:此处参考ELK详细安装部署_elk安装_xuan ~的博客-CSDN博客
vi /usr/local/elasticsearch-7.1.1/bin/elasticsearch
添加如下:
############## 添加配置解决jdk版本问题 ##############
# 将jdk修改为es中自带jdk的配置目录
export JAVA_HOME=/usr/local/elasticsearch-7.1.1/jdk
export PATH=$JAVA_HOME/bin:$PATH
if [ -x "$JAVA_HOME/bin/java" ]; then
JAVA="/usr/local/elasticsearch-7.1.1/jdk/bin/java"
else
JAVA=`which java`
fi
具体位置如下
1.3.2 参数调节
1.3.2.1 jvm参数调节
vi /usr/local/elasticsearch-7.1.1/config/jvm.options
默认1g
-Xms1g
-Xmx1g根据自己机器实际进行调节
-Xms512m
-Xmx512m
1.3.2.2 配置调节
vi /usr/local/elasticsearch-7.1.1/config/elasticsearch.yml
#集群名称 本次单节点运行 可以不管
#cluster.name: my-application
#本节点名称
node.name: node-1
#可以被谁访问 设置成0.0.0.0可以被任何机器访问
network.host: 0.0.0.0
#http的对外接口
http.port: 9200
#集群初始化主节点
cluster.initial_master_nodes: ["node-1"]
1.3.3 创建用户和组
创建名称为es的用户和组
useradd -m es
将elasticsearch文件夹权限给es用户
chown es:es -R /usr/local/elasticsearch-7.1.1
1.3.4 启动es
切换到用户es,并且启动
[root@localhost ~]# su es
[es@localhost root]$ cd /usr/local/elasticsearch-7.1.1/bin/#启动
[es@localhost bin]$ ./elasticsearch#后台启动
[es@localhost bin]$./elasticsearch -d
1.3.5 系统配置
切换到root用户进行配置
vi /etc/security/limits.conf 添加以下配置
* hard nofile 65535
* soft nofile 65535* soft nproc 4096
* hard nproc 4096
vi /etc/sysctl.conf添加以下配置
vm.max_map_count=262144
如果系统没有提前配置,则启动报错解决
默认情况下启动时候会报错
[3] bootstrap checks failed
[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]
[2]: max number of threads [3795] for user [es] is too low, increase to at least [4096]
[3]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
解决办法:
1)max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]
表示每个进程最大同时打开文件数太小,可通过下面2个命令查看当前数量
linux下输入以下命令查看:
[es@localhost logs]$ ulimit -Hn 4096 [es@localhost logs]$ ulimit -Sn 1024 [es@localhost logs]$
切换到root用户
vi /etc/security/limits.conf
添加:
* hard nofile 65535
* soft nofile 65535如下:
切换到es用户,测试如下
[es@localhost logs]$ ulimit -Hn 65535
2)max number of threads [3818] for user [es] is too low, increase to at least [4096]
最大线程个数太低。(同上)同样修改 /etc/security/limits.conf
Linux使用以下命令查看线程最大个数:
ulimit -Hu
ulimit -Su切换到root用户
vi /etc/security/limits.conf
添加:
* soft nproc 4096
* hard nproc 4096
即可解决 验证方法和1)相同
3) max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
修改/etc/sysctl.conf文件,增加vm.max_map_count=262144
[root@localhost etc]# vi sysctl.conf
[root@localhost etc]# sysctl -p
vm.max_map_count = 262144
此时再次启动,上面三个问题不在出现,如果仍然存在可考虑重新启动服务系统解决
1.4 es启动成功验证
打开浏览器访问:http://ip:9200/
返回如下,说明安装成功。
2.kibana安装
2.1 下载
下载方法可以是linux wget直接下载,也可以迅雷下载下来上传。同es下载一样,此处保证kibana的版本要和es一致
下载地址 https://artifacts.elastic.co/downloads/kibana/kibana-7.1.1-linux-x86_64.tar.gz
2.2 解压安装
root用户登录:
[root@localhost /]# cd /home/sotfware/[root@localhost sotfware]# ll
total 502524
-rw-rw-rw-. 1 root root 346794062 Jul 21 01:05 elasticsearch-7.1.1-linux-x86_64.tar.gz
-rw-rw-rw-. 1 root root 167785446 Jul 21 05:28 kibana-7.1.1-linux-x86_64.tar.gz
[root@localhost sotfware]# tar -zxvf kibana-7.1.1-linux-x86_64.tar.gz
解压完后更改kibana权限为es权限,方便以后启动使用es用户启动 根据实际情况而定
2.3.修改配置文件
vi /home/sotfware/kibana-7.1.1-linux-x86_64/config/kibana.yml
#对外暴漏的端口
server.port: 5601
#那些机器可以访问 0.0.0.0代表都可以访问
server.host: "0.0.0.0"
#链接es的信息
elasticsearch.hosts: ["http://localhost:9200"]
#kibana在es中创建的索引 如果不存在自动创建
kibana.index: ".kibana"
2.4 启动验证
切换到es用户下
[es@localhost /]$ cd /home/sotfware/kibana-7.1.1-linux-x86_64/bin
[es@localhost bin]$ nohup ./kibana &
页面访问 http://192.168.110.135:5601/
出现下面页面,就代表安装成功:
3.logstash安装
3.1 下载
下载方法可以是linux wget直接下载,也可以迅雷下载下来上传。同es下载一样,此处保证logstash的版本要和es一致
下载地址 https://artifacts.elastic.co/downloads/logstash/logstash-7.1.1.tar.gz
3.2 解压安装
root用户登录:
[root@localhost ~]# cd /home/sotfware/
[root@localhost sotfware]# ls
elasticsearch-7.1.1-linux-x86_64.tar.gz kibana-7.1.1-linux-x86_64 kibana-7.1.1-linux-x86_64.tar.gz logstash-7.1.1.tar.gz
[root@localhost sotfware]# tar -zxvf logstash-7.1.1.tar.gz解压后给赋权给es用户
3.3 ELK收集系统标准日志
3.3.1 创建配置文件
一般logstash 遵循 输入---->过滤---->输出的过程
cd /home/sotfware/logstash-7.1.1/config
vi sc.conf
将以下内容粘贴进去
# 输入插件类型为stdin 控制台输入
input { stdin { } }# 指定了elasticsearch和stdout两个输出插件
output {
elasticsearch { hosts => ["localhost:9200"] }
stdout { codec => rubydebug }
}
3.3.2 启动logstash
在bin目录下 启动
./logstash -f ../config/sc.conf
启动完毕输入任意的数据 比如:
3.3.3 查看kibana是否收到
kibana页面配置
可以看到kibana已经收到信息