LOADING

Follow me

原创投稿 | 结合docker快速搭建启动ELK日志收集平台【zoues.com】
三月 26, 2017|DockerPaaS

原创投稿 | 结合docker快速搭建启动ELK日志收集平台【zoues.com】

原创投稿 | 结合docker快速搭建启动ELK日志收集平台【zoues.com】

原创投稿 | 结合docker快速搭建启动ELK日志收集平台

豌豆贴心提醒,本文阅读时间7分钟


ELK Stack

ELK (Elasticsearch + Logstash + Kibana),是一个开源的日志收集平台,用于收集各种客户端日志文件在同一个平台上面做数据分析。

Introduction

Elasticsearch, 基于json分析搜索引擎
Logstash, 动态数据收集管道
Kibana, 可视化视图将elasticsearh所收集的data通过视图展现

原创投稿 | 结合docker快速搭建启动ELK日志收集平台

工作流程

Background

起初我们搭建ELK platform都是通过rpm包或者repo的形式直接setup在服务器机器上面,这给运维后期带来的一个问题就是,每起一个新的ELK platform都需要重新setup在新的机器上面,而从运维的角度去减少这样的重复性effort变得异常突出,下面是根据我自身的经验来介绍如何通过docker solution去快速启动一个新的ELK platform,而无需重新setup。

Prerequisite

原创投稿 | 结合docker快速搭建启动ELK日志收集平台1.Clone GIT folder到本地,branch: master

建议放在user HOME下面,eg:/home/user1/

原创投稿 | 结合docker快速搭建启动ELK日志收集平台

2.根据你的需求选择配置环境变量
a. Elasticsearch + Logstash + Kibana 运行在同一个机器下面,相关配置文件 : ~/elasticstack/.env

原创投稿 | 结合docker快速搭建启动ELK日志收集平台

b. Elasticsearch + Logstash + Kibana 分别分开运行在不同的机器下面,各自相关的配置文件如下:

  • Elasticsearch: ~/elasticstack/elasticsearch/.env

原创投稿 | 结合docker快速搭建启动ELK日志收集平台

  • Logstash: ~/elasticstack/logstash/.env

原创投稿 | 结合docker快速搭建启动ELK日志收集平台

  • Kibana: ~/elasticstack/kibana/.env

原创投稿 | 结合docker快速搭建启动ELK日志收集平台

上述配置文件包含的配置属性均属于基本配置属性,为了可以更方便的修改配置文件,结合docker-compose自动搜索并加载.env的特性,将ELK所需要的基本配置抽离出来作为单个.env文件来修改配置,而不需要通过逐个配置文件进行修改,下面对上述基本属性简单描述:

  • environment: 用来区分ELK platform的当前环境,通常有qa/prod,你也可以根据自己的情况指定为自己想要的value

  • E_LOCAL_DATA_PATH: 设置elasticsearch data存储在宿主机的相对路劲或者绝对路径,默认为/usr/data/

  • L_ELASTICSEARCH_HOST_ENV: 由于docker-compose里边设置了network_mode等于host,使得方便同一台机器上面方便logstash和elasticsearch通信,所以如果logstash和elasticsearch跑在同一台机器上面(a),可以直接使用localhost来指定连接elasticsearch host;如果logstash和elasticsearch在不同机器上(b),则需要指定对应elasticsearch所在机器的hostname

  • K_ELASTICSEARCH_HOST_IP: 和L_ELASTICSEARCH_HOST_ENV一样由于network_mode等于host,如果kibana和elasticsearch在同一台机器上,只需要指定0.0.0.0 or 127.0.0.1(经过多次试验,由于kibana自身加载yaml配置文件的方式貌似无法通过$获取环境变量,而是单纯获取对应properties的string,所以这里通过extra_link的方式在kibana的container里边添加了一个DNS record,所以需要使用IP而不是hostname);相应的如果处于不同的机器(b),需指定elasticsearch所在机器的IP。
    以上配置属性都是启动ELK所需要的基本配置,如果有需要更多的配置,可以手动修改相应的配置文件或者联系微信lexmay 或email: eason.lau02@hotmail.com


3.配置完成后,使用docker-compose启动ELK service
关于docker-compose文件,通常不需要改动,你也可以根据自己的需求添加container的properties,你可以在docker-compose文件里看到上面配置的属性都当成环境变量传递进去,eg: ~/elasticstack/docker-compose.yml:

原创投稿 | 结合docker快速搭建启动ELK日志收集平台

以上所用到的image都是自己构建然后放在hub.docker.com官网repository,相应Dockerfile构建如下 :

  • elasticsearh: ~/elasticstack/elasticsearch/Dockerfile

  • logstash: ~/elasticstack/logstash/Dockerfile

  • kibana: ~/elasticstack/kibana/Dockerfile

a. 运行在同一个机器,相关compose文件: ~/elasticstack/docker-compose.yml

原创投稿 | 结合docker快速搭建启动ELK日志收集平台

b. 分开运行不同机器,相关compose文件:
Elasticsearch: ~/elasticstack/elasticsearch/docker-compose.yml
Logstash: ~/elasticstack/logstash/docker-compose.yml
Kibana
: ~/elasticstack/kibana/docker-compose.yml

  • eg:

Elasticsearch in host1:

原创投稿 | 结合docker快速搭建启动ELK日志收集平台

Logstash in host2:

原创投稿 | 结合docker快速搭建启动ELK日志收集平台

Kibana in host3:

原创投稿 | 结合docker快速搭建启动ELK日志收集平台

4.通过kibana host+5601端口访问查看启动效果,<kibana host>:5601

原创投稿 | 结合docker快速搭建启动ELK日志收集平台

成功启动

如果看到上述界面,说明配置启动成功,你可以看到Unable to fetch mapping. Do you have indices match…,是因为还没有使用beats plugin将log发送到logstash或者elasticsearch,所以不能建立index。

** 文章所有步骤都是经过实践检验并可行,若有问题,下方请评论。


本文作者:Eason

如果你觉得这篇文章还不错,请通过下方收款码向作者进行转账打赏:

原创投稿 | 结合docker快速搭建启动ELK日志收集平台

no comments
Share

发表评论