Docker 日志管理

一、ELK -Filebeat

Elasticsearch 数据的存储和检索

常用端口：

9100：elasticsearch-head提供web访问

9200：elasticsearch与其他程序连接或发送消息

9300：elasticsearch集群状态

Logstash 有三个组件构成input，fileter，output

常用端口：5044

Kibana 数据的可视化

常用端口：5601

Filebeat 采集日志

Filebeat 是 ELK 组件的新成员，也是 Beat 成员之一。基于 Go 语言开发，无任何依赖,并且比 Logstash 更加轻量，不会带来过高的资源占用，非常适合安装在生产机器上。轻量意味着简单，Filebeat 并没有集成和 Logstash 一样的正则处理功能，而是将收集的日志原样输出。
以下是 Filebeat 的工作流程: 当开启 Filebeat 程序的时候，它会启动一个或多个检测进程(prospectors) 找到指定的日志目录或文件。对于探测器找出的每一个日志文件，Filebeat 启动读取进程(harvester)。每读取一个日志文件的新内容，便发送这些新的日志数据到处理程序(spooler) 。最后，Filebeat 会发送数据到指定的地点 (比如 logstash、elasticserach)。
正是以上原因，目前， Filebeat 已经完全替代了 Logstash 成为新一代的日志采集器。同时，鉴于它的轻量、安全等特点，越来越多人开始使用它。

Docker 日志管理缺陷

ELK 架构适合于日志规模比较庞大的情况。但由于 Logstash 日志解析节点和Elasticsearch 的负荷比较重，可将其配置为集群模式，以分担负荷。引入消息队列，均衡了网络传输，从而降低了网络闭塞，尤其是丢失数据的可能性，但依然存在 Logstash 占用系统资源过多的问题。

二、实验部署

实验的基本环境部署

镜像+软件包

[root@localhost ~]# vim /etc/sysctl.conf

vm.max_map_count=655360

备注：

max_map_count文件包含限制一个进程可以拥有的VMA(虚拟内存区域)的数量（字节）

Vm 虚拟

Map映射

Count数量

[root@localhost ~]# sysctl -p （立刻执行+检查语法）

[root@localhost ~]# vim /etc/security/limits.conf

* soft nofile 65535 no ：number数量

* hard nofile 65535 硬链接文件数量限制

* soft nproc 65535 进程数量

* hard nproc 65535

* soft memlock unlimited 是否锁定内存

* hard memlock unlimited 硬限制

[root@localhost ~]# docker network create ELK-kgc （创建ELK-kgc，所有网络加入，利用容器名称进行访问）

[root@localhost ~]# docker network ls （查看网络类型）

1.构建Elasticsearch

（1）创建 Elasticsearch 工作目录

[root@localhost ~]# mkdir elk

[root@localhost ~]# mkdir -p elk/elasticsearch

[root@localhost ~]# cd elk/elasticsearch

[root@localhost ]# cp elasticsearch-7.10.0-linux-x86_64.tar.gz elk/elasticsearch/ （上传 elasticsearch 的源码包到 elk/elasticsearch 目录下）

（2）修改elasticsearch.yml配置文件

[root@localhost elasticsearch]# cd elasticsearch-7.10.0
[root@localhost elasticsearch-7.10.0]# ls
bin config jdk lib LICENSE.txt logs modules NOTICE.txt plugins README.asciidoc
[root@localhost elasticsearch-7.10.0]# cd config/
[root@localhost config]# ls
elasticsearch.yml jvm.options.d role_mapping.yml users
jvm.options log4j2.properties roles.yml users_roles
[root@localhost config]# vim elasticsearch.yml

cluster.name: my-application ##17行，群集名称

node.name: elasticsearch ##23行，本节点主机名：容器名称

path.data: /path/to/data ##33行，数据文件路径

path.logs: /path/to/logs ##37行，日志文件路径

network.host: 0.0.0.0 ##55行，监听地址（容器地址）

http.port: 9200 ##59行，监听端口

cluster.initial_master_nodes: ["elasticsearch"] ##72，master主机名称，群集的初始化会将此节点选举为master 。 ["elasticsearch"] 是容器名称

[root@localhost config]# cp elasticsearch.yml /root/elk/elasticsearch/

（3）Dockerfile文件

FROM centos:7

RUN rm -rf /etc/yum.repos.d/*
RUN curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
RUN curl -o /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo
RUN yum clean all

RUN yum -y install java-11 vim net-rools

ADD elasticsearch-7.10.0-linux-x86_64.tar.gz /usr/local/

RUN mkdir -p /path/to/logs
RUN mkdir -p /path/to/data

COPY elasticsearch.yml /usr/local/elasticsearch-7.10.0/config
RUN sed -i 's/-Xms1g/-Xms4g/g' /usr/local/elasticsearch-7.10.0/config/jvm.options
RUN sed -i 's/-Xmx1g/-Xmx4g/g' /usr/local/elasticsearch-7.10.0/config/jvm.options

RUN useradd es
RUN chown -R es:es /path/to/logs
RUN chown -R es:es /path/to/data
RUN chown -R es:es /usr/local/elasticsearch-7.10.0/

EXPOSE 9200
EXPOSE 9300

CMD su es /usr/local/elasticsearch-7.10.0/bin/elasticsearch

[root@localhost elasticsearch]# docker build -t elasticsearch . （构建 Elasticsearch 镜像）

2.构建kibana镜像

（1）创建目录

[root@localhost elk]# mkdir kibana

[root@localhost ~]# cp kibana-7.10.0-linux-x86_64.tar.gz elk/kibana/
[root@localhost ~]# cd elk/kibana/
[root@localhost kibana]# ls
kibana-7.10.0-linux-x86_64.tar.gz
[root@localhost kibana]# tar zxvf kibana-7.10.0-linux-x86_64.tar.gz

（2）kibana.yml文件

[root@localhost kibana]# ls
kibana-7.10.0-linux-x86_64 kibana-7.10.0-linux-x86_64.tar.gz
[root@localhost kibana]# cd kibana-7.10.0-linux-x86_64
[root@localhost kibana-7.10.0-linux-x86_64]# ls
bin data node NOTICE.txt plugins src
config LICENSE.txt node_modules package.json README.txt x-pack
[root@localhost kibana-7.10.0-linux-x86_64]# vim config/kibana.yml
[root@localhost kibana-7.10.0-linux-x86_64]# cp config/kibana.yml /root/elk/kibana/

(3)Dockerfile

FROM centos:7
RUN rm -rf /etc/yum.repos.d/*
RUN curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
RUN curl -o /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo
RUN yum clean all

RUN yum -y install java-11 vim net-tools

ADD kibana-7.10.0-linux-x86_64.tar.gz /usr/local/
COPY kibana.yml /usr/local/kibana-7.10.0-linux-x86_64/config

EXPOSE 5601
RUN useradd es
RUN chown -R es:es /usr/local/kibana-7.10.0-linux-x86_64/

CMD su es /usr/local/kibana-7.10.0-linux-x86_64/bin/kibana

[root@localhost kibana]# docker build -t kibana .

3. 创建logstash镜像

（1）创建目录

[root@localhost elk]# mkdir logstash
[root@localhost ~]# cp logstash-7.10.0-linux-x86_64.tar.gz elk/logstash/
[root@localhost ~]# cd elk/logstash/
[root@localhost logstash]# ls
logstash-7.10.0-linux-x86_64.tar.gz

（2）创建dockerfile文件

[root@localhost logstash]# vim dockerfile

ADD logstash-7.10.0-linux-x86_64.tar.gz /usr/local/
ADD nginx-log.conf /opt/logstash/conf/nginx-log.conf
EXPOSE 5044
COPY run.sh /run.sh
RUN chmod +x /run.sh
CMD ["/run.sh"]

（3）创建 CMD 运行的脚本文件

#!/bin/bash
/usr/local/logstash-7.10.0/bin/logstash -f /opt/logstash/conf/nginx-log.conf

（4）编写配置文件

[root@localhost logstash]# vim nginx-log.conf

input { （输入）

beats { （日志来源是filebeat）

port => "5044" （该端口用来连接filebeat）

codec => "json" （编码格式）

}

output{

elasticsearch { （日志转发对象）

hosts => ["elasticsearch:9200"] （容器名称：端口）

manage_template => false （是否启用模板：否）

index => "www-bdqn-cn-pro-access-%{+YYYY.MM.dd}" （索引名称）

}

[root@localhost logstash]# mkdir -p /opt/logstash/conf
[root@localhost conf]# cp /root/elk/logstash/nginx-log.conf /opt/logstash/con

[root@localhost logstash]# docker build -t logstash . (构建logstash镜像)

4.构建filebeat镜像

（1）创建目录

[root@localhost elk]# mkdir filebeat

[root@localhost ~]# cp filebeat-7.10.0-linux-x86_64.tar.gz elk/filebeat/

（2）编辑filebeat.yml文件

[root@localhost filebeat]# vim filebeat.yml

filebeat.inputs:
- type: log
paths:
- /var/log/nginx/access.log
tags: ["www-kgc-access"]

output.logstash:
hosts: ["logstash:5044"]

（3）编辑dockerfile

[root@localhost filebeat]# vim dockerfile

RUN yum -y install java-11 net-tools vim
ADD filebeat-7.10.0-linux-x86_64.tar.gz /usr/local/
COPY filebeat.yml /usr/local/filebeat-7.10.0-linux-x86_64/

ADD run.sh /run.sh

RUN chmod 755 /*.sh

CMD ["/run.sh"]

（4）创建CMD运行脚本

[root@localhost Filebeat]# vim run.sh

#!/bin/bash

/usr/local/filebeat-7.10.0-linux-x86_64/filebeat -e -c /usr/local/filebeat-7.10.0-linux-x86_64/filebeat.yml

备注：
-c：配置文件位置
-path.logs：日志位置
-path.data：数据位置
-path.home：家位置
-e：关闭日志输出
-d 选择器：启用对指定选择器的调试。对于选择器，可以指定逗号分隔的组件列表，也可以使用-d“*”为所有组件启用调试.例如，-d“publish”显示所有“publish”相关的消息。

启动nginx进行日志输出

[root@localhost ~]# docker run -dit -p 80:80 --network ELK-kgc -v /var/log/nginx:/var/log/nginx --name nginx-ELK nginx:latest

nginx-ELK 日志名称

nginx:latest 镜像和标签

[root@localhost ~]# curl 192.168.10.101 （访问日志）

[root@localhost ~]# cat /var/log/nginx/access.log （查看日志）

5.启动镜像

（1）启动 Elasticsearch

[root@localhost ~]# docker run -itd -p 9200:9200 -p 9300:9300 --network ELK-kgc -v /path/to/logs:/path/to/logs --name elasticsearch elasticsearch

elasticsearch elasticsearch （前一个elasticsearch容器名称，后者是镜像名称）

（2）启动 kibana

[root@localhost ~]# docker run -itd -p 5601:5601 --network ELK-kgc --name kibana kibana

（3）启动 logstash

[root@localhost ~]# docker run -itd -p 5044:5044 --network ELK-kgc -v /opt/logstash/conf:/opt/logstash/conf --name logstash logstash

（4）启动 Filebeat

[root@localhost ~]# docker run -itd --network ELK-kgc -v /var/log/nginx:/var/log/nginx --name filebeat filebeat

6.Kibana web访问即可

192.168.10.101：5601