发布时间:2023-06-11 19:30
首先,这是一篇干货满满的文章,学海无涯,愿你拥有耐心。
Apache Kafka是一个开源消息系统,由Scala和Java写成。是由Apache软件基金会开发的一个开源消息系统项目。最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。
Kafka官网:Apache Kafka
最初设计的目的是作为LinkedIn的活动流和运营数据的处理管道。这些数据主要是用来对用户做用户画像分析以及服务器性能数据的一些监控。所以kafka一开始设计的目标就是作为一个分布式、高性能、高吞吐量的消息系统,所以适合运用在大数据传输场景。kafka的简单定义:分布式的基于发布订阅的消息系统,它的特性如下:
以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间复杂度的访问性能。
高吞吐率:即使在非常廉价的商用机器上也能做到单机支持每秒100K条以上消息的传输。
支持Kafka Server间的消息分区,及分布式消费,同时保证每个Partition内的消息顺序传输。
同时支持离线数据处理和实时数据处理。
Scale out:支持在线水平扩展。
物联网之MQTT3.1.1和MQTT5协议 (1) 术语部分
ESP8266使用AT命令上传数据到ONE NET(HTTP方式)
测试开发线上培训班哪个性价比高?这家的费用比较平价,你听说过没?
[Hacker News 周报] 性能持续分析工具;数据库必须知道的那些事;Spark 与 K8s 集成新动向
对java不感兴趣可以学嘛_不适合学Java的5种人,你在内吗?
java.lang.StackOverflowError出现的原因及解决
Spring Cloud体系中Eureka闭源,作用Consul做注册中心到底爽不爽?