日志分析

kafka 扩容 与 partitions 增加

阅读(607)

kafka 扩容 * kafka的扩容难点: 1)主要在于增加机器之后,数据需要rebalance到新增的空闲节点,即把partitions迁移到空闲机器上。kafka提供了bin/kafka-reassign-partitions.sh工...

Kafka 配置文件参数说明

阅读(704)

<h1 align=”center”> Kafak 配置文件 </h1> * Kafka 配置文件参数说明 文件名: server.properties #每一个broker在集群中的唯一表示...

kafka消息队列 分布式部署

阅读(486)

<h2 algin=”center”>ELK 使用kafka 作为消息队列安装</h2> 环境配置 环境 10.1.11.6 zk1 10.1.11.64 zk2 10.1.11.199 zk...

消息队列 kafka 安装

阅读(621)

* 简介 Kafka 是一款分布式消息发布和订阅的系统,具有高性能和高吞吐率 1. 消息的发布(publish)称作producer,消息的订阅(subscribe)称作consumer,中间的存储阵列称作broker。 2. 多个brok...

ELK(Elasticsearch+Logstash+Kibana)分布式日志分析平台(一) 环境搭建

阅读(2104)

背景: 因为现在需求搭建一个日志分析平台。查看了一些同类型的软件。最后得到结论。elk的搭建与配置的过程相对来说。还算比较简单。所以选择ELK。 需求: 实时收集各业务平台的日志。然后进行分析。将相关的日志,报告给开发人员。让他们及时的发现...