文档介绍：袈羈蚅袃薈螅袃芃荿袇膅螂聿Kafka深度分析羈芄架构膁衿kafka是显式分布式架构,producer、broker(Kafka)和consumer都可以有多个。Kafka的运行依赖于ZooKeeper,Producer推送消息给kafka,Consumer从kafka拉消息。蚆kafka关键技术点蚆(1) zero-copy薁在Kafka上,有两个原因可能导致低效:1)太多的网络请求2)过多的字节拷贝。为了提高效率,Kafka把message分成一组一组的,每次请求会把一组message发给相应的consumer。此外,为了减少字节拷贝,采用了sendfile系统调用。为了理解sendfile原理,先说一下传统的利用socket发送文件要进行拷贝:薀螇Sendfile系统调用:螄芄(2) Exactlyoncemessagetransfer莀怎样记录每个consumer处理的信息的状态?在Kafka中仅保存了每个consumer已经处理数据的offset。这样有两个好处:1)保存的数据量少2)当consumer出错时,重新启动consumer处理数据时,只需从最近的offset开始处理数据即可。袈(3)Push/pull袃Producer向Kafka(push)推数据,consumer从kafka拉(pull)数据。蚄(4)负载均衡和容错肁Producer和broker之间没有负载均衡机制。broker和consumer之间利用zookeeper进行负载均衡。所有broker和consumer都会在zookeeper中进行注册,且zookeeper会保存他们的一些元数据信息。如果某个broker和consumer发生了变化,所有其他的broker和consumer都会得到通知。蚆芅kafka术语膃Topic螁Topic,是KAFKA对消息分类的依据;一条消息,必须有一个与之对应的Topic;蚇比如现在又两个Topic,分别是TopicA和TopicB,Producer向TopicA发送一个消息messageA,然后向TopicB发送一个消息messaeB;那么,订阅TopicA的Consumer就会收到消息messageA,订阅TopicB的Consumer就会收到消息messaeB;(每个Consumer可以同时订阅多个Topic,也即是说,同时订阅TopicA和TopicB的Consumer可以收到messageA和messaeB)。莄 同一个Groupid的consumers在同一个Topic的同一条消息只能被一个consumer消费,实现了点对点模式,不同Groupid的Consumers在同一个Topic上的同一条消息可以同时消费到,则实现了发布订阅模式。通过Consumer的Groupid实现了JMS的消息模式薂薁Message螈Message就是消息,是KAfKA操作的对象,消息是按照Topic存储的;螆KAFKA中按照一定的期限保存着所有发布过的Message,不管这些Message是否被消费过;例如这些Message的保存期限被这只为两天,那么一条Message从发布开始的两天时间内是可用的,超过保存期限的消息会被清空以释放存储空间。羂消息都是以字节数组进行网络传递。节Partition薆每一个Topic可以有多个Partition,这样做是为了提高KAFKA系统的并发能力,每个Partition中按照消息发送的顺序保存着Producer发来的消息,每个消息用ID标识,代表这个消息在改Partition中的偏移量,这样,知道了ID,就可以方便的定位一个消息了;每个新提交过来的消息,被追加到Partition的尾部;如果一个Partition被写满了,就不再追加;(注意,KAFKA不保证不同Partition之间的消息有序保存)袄Leader莁Partition中负责消息读写的节点;Leader是从Partition的节点中随机选取的。每个Partition都会在集中的其中一台服务器存在Leader。一个Topic如果有多个Partition,则会有多个Leader。螈ReplicationFactor薇一个Partition中复制数据的所有节点,包括已经挂了的;数量不会超过集群中broker的数量羃isr袀ReplicationFactor的子集,存活的且和Leader保持同步的节点;薈Consumer Group虿传统的消息系统提供两种使用方式:队列和发布-订阅;莅队列:是一个池中有若干个Consumer,一条消息发出来以后,被其中的一个Consumer消费;薄发布-订阅:是一个消息被广播出去,之后被所有订阅该主题的Consumer消费;艿KAFKA提供的使用方式可以达到以上两种方式的效果:Consumer