包含标签 Kafka 的文章

Go运维开发之日志收集(2)从etcd中获取配置信息

Go运维开发之日志收集(2)从etcd中获取配置信息 Go运维开发之日志收集(1)收集应用程序日志到kafka中 在上一篇中我们已经实现了单个日志收集后发送到kafka中 我们想一下下面的几个问题: 怎么样实现多个日志收集? 每收集一个日志都运行一个logAgent? 每次收集日志都需要手动……

阅读全文

Go运维开发之日志收集(3)根据etcd配置项创建多个tailTask

Go运维开发之日志收集(3)根据etcd配置项创建多个tailTask Go运维开发之日志收集(1)收集应用程序到日志kafka中 Go运维开发之日志收集(2)从etcd中获取配置信息 在上一篇中我们已经实现了从etcd中获取配置信息 下一步就是拿着这些配置项进行日志收集,之前的tail……

阅读全文

Go运维开发之日志收集(4)监视etcd配置项的变更

Go运维开发之日志收集(4)监视etcd配置项的变更 Go运维开发之日志收集(1)收集应用程序日志到kafka中 Go运维开发之日志收集(2)从etcd中获取配置信息 Go运维开发之日志收集(3)根据etcd配置项创建多个tailTask 在上一篇中我们已经实现了从etcd中获取配置信息……

阅读全文

Go运维开发之日志收集(1)收集应用程序日志到kafka中

Go运维开发之日志收集(1)收集应用程序日志到kafka中 需求背景 每个业务系统都有自己的⽇志,当业务系统出现问题时,需要通过查找⽇志信息来定位和解决问题。 当业务系统服务器⽐较少时,登陆到服务器上查看即可满⾜。但当系统机器规模巨⼤,登陆到服务器上查看⼏乎不现实(分布式的系统,⼀个系……

阅读全文

kafka集群部署

kafka集群部署 1.简介 kafka:消息队列 官网地址:http://kafka.apache.org 下载地址:kafka_2.12-2.0.0.tgz 版本说明: kafka_2.12-2.0.0.tgz │ └─kafka版本 └─scala版本 2.环境准备 1vim /etc/hosts 2192.168.33.14 node4 3192.168.33.15 node5 4192.168.33.16 node6 3.安装配置 kafka集群依赖zookeeper,……

阅读全文