ELK(Elasticsearch+Logstash+Kibana)分布式日志分析平台(一) 环境搭建

背景:
因为现在需求搭建一个日志分析平台。查看了一些同类型的软件。最后得到结论。elk的搭建与配置的过程相对来说。还算比较简单。所以选择ELK。
需求:
实时收集各业务平台的日志。然后进行分析。将相关的日志,报告给开发人员。让他们及时的发现错误。
原理:
第一步:通过在nginx/tomcat服务器安装logstash-agent端。然后将日志通过类似于tail日志方式,将日志实时存储到redis数据库里面。
第二步:位于server端的logstash将日志实时的从redis数据库里面取出来。进行分析,并发送给elasticsearch。进行存储。
第三步:elasticsearch 得到分析后的日志后,将日志存储到本地。其实elasticsearch 存储的索引文件。
页面展示:因为我只是简单的初步搭建。所以没有做太多的图。其他的大家可以自己去做了。进行扩展
logstash1




(一) 环境搭建
安装包

jdk-8u40-linux-x64.rpm
redis-2.4.14.tar.gz
elasticsearch-1.4.2.tar.gz
logstash-1.4.2.tar.gz
kibana-3.1.2.tar.gz

1.安装jdk

rpm -ivh jdk-8u40-linux-x64.rpm

将java的环境变量添加到profile中

vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_40
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar
source /etc/profile

2.安装redis

tar zxf redis-2.4.14.tar.gz
cd redis-2.4.14
make
cd src
make install
mkdir /export/data/db/{redis}/{conf,bin}

启动 redis-server redid.conf

3.安装ElasticSearch

wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.4.2.tar.gz 
tar zxf elasticsearch-1.4.2.tar.gz -C /usr/local
mv elasticsearch-1.4.2 elasticsearch

4.安装elasticsearch-servicewrapper,并启动ElasticSearch服务

wget https://github.com/elasticsearch/elasticsearch-servicewrapper/archive/master.tar.gz   
tar -zxvf master.tar.gz  -C /usr/local
mv elasticsearch-servicewrapper-master/service /usr/local/elasticsearch/bin/ 

修改ElasticSearch的配置文件,追加一行内容,并启动ElasticSearch服务:

vim /usr/local/elasticsearch/config/elasticsearch.yml  
http.cors.enabled: true   
/usr/local/elasticsearch/bin/service/elasticsearch start 

5.安装Logstash

wget https://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz  
tar -zxvf logstash-1.4.2.tar.gz -C /usr/local/ 
mv  /usr/local/logstash-1.4.2 /usr/local/logstash 

6.安装Kibana

wget https://download.elasticsearch.org/kibana/kibana/kibana-3.1.2.tar.gz -P /usr/local
tar -zxvf kibana-3.1.2.tar.gz 
mv kibana-3.1.2 /export/data/web/kibana 

修改Kibana的配置文件,把elasticsearch所在行的内容替换成如下:

# vim /export/data/web/kibana/config.js  
elasticsearch: "http://103.41.54.16:9200",
未经允许不得转载:99ya » ELK(Elasticsearch+Logstash+Kibana)分布式日志分析平台(一) 环境搭建

抢沙发