企业官网建设流程全解析

企业网站开发需求文档,网站开发岗位说明书,网站内容要突出什么原因,婚介网站建设kafka是什么#xff1f;有什么用#xff1f; Kafka是一个分布式流处理平台#xff0c;基于发布-订阅模式#xff0c;在java中主要用在消息队列中。 作用#xff1a; 1.解耦(订单#xff0c;支付#xff0c;扣库存之间无强依赖关系)、 2.削峰填谷#xff08;巨量流量冲击…kafka是什么有什么用Kafka是一个分布式流处理平台基于发布-订阅模式在java中主要用在消息队列中。作用1.解耦(订单支付扣库存之间无强依赖关系)、2.削峰填谷巨量流量冲击缓冲处理、3.异步通信Kafka异步处理订单后发送短信通知kafka包含什么组件有什么作用核心组件生产者发送消息到Topic由分区策略制定该主题的哪个分区Broker存储处理消息Topic主题生产者发送消息到Topic消费者从Topic中消费消息partition分区每个topic有多个分区会放置到多个不同的Broker中消费者订阅并消费消息需制定Topic和分区。可组成消费者组同一组内的消费者分工消费不同分区避免重复消费不同组可独立消费同一 Topic。Replica副本每个分区有多个副本1 个 Leader 副本 多个 Follower 副本Leader 负责处理读写请求Follower 同步 Leader 数据。若 Leader 故障Follower 会被选举为新 Leader保证数据不丢失。ZooKeeper协调者早期 Kafka 依赖 ZooKeeper 管理集群元数据如 Broker 节点状态、Topic 分区信息、消费者组偏移量等类比以服装生产到销售的全流程类比生产者 服装工厂 - 与批发市场里的经销商户分区对接卖的是服装类TopicBroker 单个批发市场 - 入驻了不少经销商户分区 经销商户 - 入驻于批发市场将服装工厂producer送过来的服装消息存储在分区队列经销商仓库中消费者组 经销商户的门店 - 将分区队列的消息衣服进行消费悬挂售卖消费者 店员 - 店员是不能直接去经销商拿货必须以消费者组的形式消费备份 相同功能的其他批发市场防止失火停摆Offset偏移量提货清单 - 在经销商按照指定顺序分批提货如第一批拿了1-99号第二批拿100-199号衣服简化一下就是生产者-分区-消费者组其中分区是物理上位于Broker分区逻辑上属于某个Topic消费者组消费只能以组的形式消费哪怕1组只有1个消费者消费者组消费某个topic自动分配消费者组下的消费者去不同的分区消费消费者组和分区的关系同组防重复跨组不干涉消费者组哪怕只有1个消费者也要组成1个消费者的组消费时以组为单位进行消费Kafka的分区有什么用为什么要设计分区a.分区可以提高kafka并行读写的能力生产者可以像不同分区发消息无需单分区排队b.单topic单分区数据量大时压力极大,多分区抗压c.分区消息按顺序写入保证分区内的有序d.多分区leader和follwer备份高可用Kafka 的生产者发送消息时如何决定消息被分配到哪个分区有哪些分区策略1.轮询策略Round - Robin2.随机策略Random3.按消息键Key的哈希值策略某个消息键的哈希值为 1010 % 5 0那么该消息就会被发送到分区 0。Kafka 中的消费者组Consumer Group有什么作用呢1.实现多个分区并行消费2.动态增减消费者实现消费者的负载均衡它是如何保证消息消费的一致性和负载均衡的3.消费一致性保证不会重复消费偏移量记录消费的位置4.负载均衡实现消费者的存活监听分区根据消费者增减进行再平衡分配Kafka 中的副本Replica机制是如何保障数据的可靠性和高可用性的请详细阐述副本的角色、同步过程以及故障处理机制。在 Kafka 生产环境中如果生产者没把消息发送到 Broker可能有哪些原因你会如何排查和解决1.生产者与 Broker 之间网络不通比如网络设备故障、防火墙阻挡 Kafka 通信端口默认 9092。2.Kafka负载过高请求缓慢或无法写入新消息在 Kafka 生产环境中假设 Broker 收到了生产者的消息并返回了 ACK但实际上消息丢失了可能是什么原因该如何处理同步分为0(效率高不安全) 、1效率和安全平衡、-1安全效率低网络波动带来的leader和follwer同步延迟部分follower还未成功同步leader所在的broker就宕机了1.优化网络增加副本数量2.消息队列offerset对不上虽然ack了但也可以让生产者重发重发仍用原id幂等性最后让消费者消费待更新