ELK与我
我在2017年8月份第一次听说ELK并搭建了一次,当时看到KIBANA页面超级炫酷非常激动。现在已经过去了四个月了,现在的情况不像刚开始哪有无知了。现在是要应用到实际的项目中。首先说一下整个ELK的社区非常全面,使用Logstash的各种插件可以扩展得非常强大。构建日志监控分析,用户行为分析,服务异常邮件告警等等。我今天写这篇文章也是为了督促自己尽快拿下ELK,我上周面试的时候就被考了index与type的区别及作用,当时很尴尬因为曾以为搭建过ELK就可以在简历上写有ELK相关经验了。还有一个问题是问了logstash的配置分成几个模块,我也只是说三种(input/filter/output)。面试官说你肯定吗?我说是的。现在回过头看了看标准文档里面还包括了codec
。不懂其实不可怕,可怕的是自己假装懂,那就很可怕了。
如何开始ELK的世界
你需要安装它并且玩弄它,在这个计算机网络时代,只有自己动手去折腾才有收获。下载ELK到本地就可以解压运行了,具体安装方式不在这里讲。进入ELK其实最好的方式直接阅读官方文档,写得非常好。不过有些教程在更新方面可能会有些延迟导致我刚开始遵规遵据的学习遇到了很多问题。不过现在都还好了,今晚上全面更新了ELK三个组件到6.0版本也是11月份发布的最新版本。
ELK的常见坑
- ELK三个组件的安装版本不一致会导致它们之间无法通讯;
- ELK的Graphs很有意思,但是需要对数据的类型进行特别设置
fielddata
要设置为true
- Index Patter 在生成的时候注意
timestamp
不要随便勾选,除非充分理解其作用。 - 配置X-Pack组件,需要给Kibana配置一个用户,为了使用Dev的一些功能,这个用户最好是有较高权限的。
具体在Mac上的安装如下
- 1.下载ElasticSearch、Kibana、Logstash最新版本;
- 2.给ElasticSearch安装X-pack
- 3.脚本自动重置用户密码
bin/x-pack/setup-passwords auto
(注意这个是ElasticSearch)里面的x-pack - 4.给Kibana安装X-pack
- 5.配置Kibana访问ElasticSearch的用户(将重置终端打印出来的用户名密码配置拷贝到Kibana的config/kibana.yml中
- 6.重启