发布时间：2024-10-07 08:01
目录
一、Filebeat 简介
1、Logstash
#可以添加的其它组件：
2、Filebeat
二、Filebeat的工作方式
三、Filebeat工作原理
四、Filebeat用途
1、为什么要用filebeat来收集日志？
2、filebeat结合logstash带来好处
3、Filebeat和Logstash的区别编辑
Kafka---------------------------部分
1、Kafka简介
1、为什么需要消息队列？
2、消息队列的好处
3、Kafka的特性
4、Kafka作为存储系统
二、Kafka消费模式
1、一对一
2、一对多
三、Kafka的基础架构
1、Kafka架构
2、工作流程
3、分区的原因
4、分区目的
四、Kafka原则
Zookeeper---------------------------部分
一、ZooKeeper简介
二、 zookeeper工作机制
三、zookeeper特点
四、Zookeeper数据结构
五、zookeeper应用场景
1、统一命名服务
2、统一配置管理
3、统一集群管理
4、服务器动态上下线
5、软负教均衡
六、工作原理
七、zookeeper选举机制
搭建ELK+Filebeat+Kafka+Zookeeper----------------------部分
一、ELK+Filebeat+Kafka+Zookeeper架构编辑
二、搭建ELK+Filebeat+Kafka+Zookeeper
1、安装zookeeper（zookeeper群集）
1.1、修改配置文件
1.2、给每个机器指定对应的节点号
1.3、启动zookeeper
1.4、查看zookeeper状态编辑
2、安装kafka
2.1、安装 kafka（Kafka集群）
2.2、修改配置文件
2.3、将相关命令加入到系统环境当中
2.4、启动kafka
2.5、Kafka 命令行操作解析
2.6、创建topic
2.7、测试topic
3、配置数据采集层filebeat（192.168.58.10）
3.1、定制日志格式
3.2、上传、解压安装包
3.3、修改配置文件filebeat.yml
3.4、启动filebeat
4、组件部署完成之后，开始配置部署
4.1、在kafka上创建一个话题nginx-es
4.2、修改logstash的配置文件（192.168.58.20）
4.3、验证网页
4.4、Kibana上创建索引编辑
三、总结
Filebeat由两个主要组成部分组成：prospector(探勘者)和 harvesters(矿车)。这些组件一起工作来读取文件并将事件数据发送到指定的output。
1、prospector: 负责找到所有需要进行读取的数据源
2、harvesters：负责读取单个文件的内容，并将内容发送到output中，负责文件的打开和关闭。
作为数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置,一般会发送给 Elasticsearch。
轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat，并指定目录与日志格式，Filebeat 就能快速收集数据，并发送给 logstash 进行解析，或是直接发给 Elasticsearch 存储，性能上相比运行于 JVM 上的 logstash 优势明显，是对它的替代。常应用于 EFLK 架构当中。
启动Filebeat时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找。对于Filebeat所找到的每个日志，Filebeat都会启动收集器。每个收集器都读取单个日志以获取新内容，并将新日志数据发送到libbeat，libbeat将聚集事件，并将聚集的数据发送到为Filebeat配置的输出。
Filebeat可以保持每个文件的状态，并且频繁地把文件状态从注册表里更新到磁盘。这里所说的文件状态是用来记录上一次Harvster读取文件时读取到的位置，以保证能把全部的日志数据都读取出来，然后发送给output。如果在某一时刻，作为output的ElasticSearch或者Logstash变成了不可用，Filebeat将会把最后的文件读取位置保存下来，直到output重新可用的时候，快速地恢复文件数据的读取。在Filebaet运行过程中，每个Prospector的状态信息都会保存在内存里。如果Filebeat出行了重启，完成重启之后，会从注册表文件里恢复重启之前的状态信息，让FIlebeat继续从之前已知的位置开始进行数据读取。