世爵娱乐注册 当前位置:首页>世爵娱乐注册>正文

世爵娱乐注册

发布时间:2019-03-19

原标题:kafka原理和实践(一)原理:10分钟入门

我生下来便会走会跳,口齿也甚是伶俐,在兜率宫中,人人都喜欢我,最喜欢我的人却不是我妈妈,而是那个非让我叫他“爷爷”的师公。后来我才知道,我这个师公是太上老君,是非常厉害的人物。

全球十大博彩公司_全球博彩_世界顶级博彩公司

东安酒肆内,李庆安和崔廉对面而坐,李庆安给他倒了一杯酒笑道:“泗州太守崔平是崔太守的侄儿吧!”
大量的数据没入了黑亚古兽的体内,本来筋疲力尽消耗掉所有体力的非亚古兽发现大一片信息进入自己的体内,改造着她的一切,让她浑身充满力量,甚至有一种要进化的趋势。

“这可不像是希尔的作风啊,她可是很有责任心的。”雷欧奈说完忽然露出了一个促狭的微笑:“会不会是他们两个趁着我们不在偷偷摸摸的做一些不轨的事情。”

系列目录

kafka原理和实践(一)原理:10分钟入门

kafka原理和实践(二)spring-kafka简单实践

kafka原理和实践(三)spring-kafka生产者源码

kafka原理和实践(四)spring-kafka消费者源码

kafka原理和实践(五)spring-kafka配置详解

kafka原理和实践(六)总结升华

 

 

=========正文分割线===============

关于kafka原理网上文章很多,但能真正快速入门的几乎没有(要不就是原文翻译官网...实在枯燥无味之极),本章尽量采用图文的方式,提纲挈领的阐述原理。

一、kafka拓扑图

大家都知道kafka是依赖zookeeper集群的,一般最少也要三台服务器来实现HA。拓扑图如下,分三层:

1.Producers:消息生产者,push消息给Brokers.发送时根据不同topic选择不同分区(在Broker上)。

2.Brokers:注册在zookeeper节点上。

3.Consumers:消息消费者,从brokers上根据订阅的topic选择不同分区,poll数据,执行消费。

二、名词解释

1.producer:消息生产者,发布消息到 kafka 集群的终端或服务。

2.broker:kafka 集群中包含的服务器。

3.topic:每条发布到 kafka 集群的消息属于的类别,即 kafka 是面向 topic 的。

4.partition:partition 是物理上的概念,每个 topic 包含一个或多个 partition。kafka 分配的单位是 partition。

5.consumer:从 kafka 集群中消费消息的终端或服务。

6.Consumer group:high-level consumer API 中,每个 consumer 都属于一个 consumer group,每条消息只能被 consumer group 中的一个 Consumer 消费,但可以被多个 consumer group 消费。

7.replica:partition 的副本,保障 partition 的高可用。

8.leader:replica 中的一个角色, producer 和 consumer 只跟 leader 交互。

9.follower:replica 中的一个角色,从 leader 中复制数据。

10.controller:kafka 集群中的其中一个服务器,用来进行 leader election 以及 各种 failover。

11.zookeeper:kafka 通过 zookeeper 来存储集群的 meta 信息。

三、生产模型

kafka生产者多线程异步发送模型如下图,主要包含2个流程:1)数据批量存储,批量发送2)Netty NIO 发送数据

大概看一下流程,理解个大概即可,具体见后续源码分析章节。

 

四、消费模型

根据xml配置的不同启动不同的容器(ConcurrentMessageListenerContainer/MessageListenerContainer),下图为并发消息监听器容器启动流程,主要包含2个主流程:

1.从cluster拉取消息

2.消费消息

 

编辑:平扁王

发布时间:2019-03-19 03:39:46

当前文章://z35x7.html

腾博会国际官网&首页 奇乐老虎机 云顶娱乐网址多少 优发注册送8 

责任编辑:公邓通

随机推荐