文章目录

• Kafka 源码剖析

• • 一 Kafka客户端发送消息的核心流程
  • • • sender 流程
      • • • 遍历所有分区，得到所有批次，判断批次是否需要发送
  • 二 Kafka 内存池
  • • • • • 个性化内存池
  • 三 Kafka 拉取元数据流程
  • 四 Kafka 核心
  • 五 Kafka 一些调优参数
  • • • • • 1. kafka 消息缓存大于 1M 会报错 超 32M 报错
          • 2. kafka 回收空闲链接
          • 3. producer 发送给 reduce 多少个无响应情况
          • kafka 不是完全同步，也不是完全异步，是一种ISR机制：
      • 写消息流程
      • • • % Kafka 为避免 full GC Kafka 使用**内存池**方式（跟连接池相同），提前开辟内存
        • -- Kafka 读写分离设计方案适合读多写少
        • • 批量写如图：
          • Kafka 自己实现的 NIO
          • -- 允许 5 次发送失败重发
  • 六 Kafka 超高并发的网络架构
  • • • • • kafka 的网络架构优势 需要看预习课 4 cpu 8核 设置了 32.
          • 参考： 4 cpu 共 8核 RequestHandlerPool 设置了 32
    • 七 Porducer的源码里面给我们带来哪些启发？
    • • • • 数据结构读写分离
          • 内RecordAccumulator里面封装批次的是，自己设计了一个存池 为了减少 Full GC
          • RecordAccumulator 封装批次的时候，为了提升性能代码采用分段加锁。