kafka入门篇
概述
1.1 定义
Kafka是一个分布式的基于发布/订阅模式的消息队列(MQ),主要用于大数据实时处理领域。
1.2 消息队列
1.2.1 MQ传统应用场景之异步处理
1.2.2 消息队列的好处
- 解耦： 允许你独立的扩展或者修改两边的处理过程，只要确保同样的接口约束
- 可恢复性：系统一部分组件失效，不会影响整个系统，降低进程间的耦合度
- 缓冲：解决生产和消费消息处理速度不一样的情况
- 灵活性&峰值处理能力：使用消息队列能够使关键组件顶住突发的访问压力，而不会因为超负荷的请求而崩溃
- 异步通信：很多时候，有些消息并不需要立即处理，放入一个队列，当资源足够，再去处理就行
1.2.3 消息队列的两种模式
- 点对点模式：一对一，消费者主动拉取数据，消息收到后清除
- 发布/订阅模式：一对多，消费者消费消息后不会清除
1.3 Kafka基础架构
注意
1.每个topic下的一个分区，只能被同一个消费者组内的消费者消费，eg:consumerA和consumerB是同一个消费者组，A消费topicA -partition0的数据的时候，B是没法消费 -partition0的数据的。B只能消费 -partition1的数据
2.如果一个消费者组内只有一个消费者，比如A，那么A就要消费 -partition0和 -partition1的数据集
3.消费者组内的消费者的个数=partition分区的个数，消费效率最快。
消费者组内的消费者个数>partition分区数，会有闲置资源浪费
4.kafka依赖于zk，zk中会保存一些元数据。消费者也会存一部分数据到zk（例如消费消息到哪了，offset值），先放在缓存，在更新到zk
特别注意：0.9版本之前，offset存在zk,0.9版本之后，存储在本地（kafka）
解耦，不想太过于依赖zk
1.4 相关阅读
consumer和partition对应的关系：
https://blog.csdn.net/mxw2552261/article/details/101441652
关于下述Kafka概念的解释以及副本机制的详解
https://mp.weixin.qq.com/s?__biz=Mzg5NjMxMTYxNQ==&mid=2247486146&idx=1&sn=71d0c1e58df2243f2bc582b5fded7ce6&source=41#wechat_redirect
1.5 kafka概念：
- Producer: 消息生产者，就是向Kafka broker 发消息的客户端。
- Consumer: 消息消费者，向Kafka broker 取消息的客户端。
- Consumer Group(CG): 消费者组，由多个consumer组成，消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组内互不影响。所有的消费者都属于某个消费者组，即消费者逻辑上的一个订阅者。
- Broker: 一台Kafka服务器就是一个broker，一个集群由多个broker组成。一个broker可以容纳多个Topic。
- Topic:可以理解为一个队列，生产者和消费者面向的都是同一个Topic。
- Partition: 为了实现扩展性，一个特别大的Topic可以分布在多个Broker上(即服务器上)，一个topic可以分为多个partition，每个partition都是一个有序的队列。
- Replica: 副本，为保证集群中某个节点发生故障时，该节点partition数据不丢失，且Kafka仍能继续工作，Kafka提供了副本机制，一个Topic的每个分区都有若干副本，一个leader和若干个follower。
- Leader: 每个分区多个副本的“主”，生产者发送数据的对象，以及消费者消费数据的对象都是Leader。
- Follower: 每个分区多个副本中的“从”，实时从Leader中同步数据，保持和Leader数据的同步。Leader发生故障时，某个Follower会成为新的Leader。
二 Zookeeper集群搭建
2.1 zookeeper下载
https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/
2.2 linux安装JDK
https://www.oracle.com/java/technologies/javase/javase8u211-later-archive-downloads.html
2.2.1 下载.tar.gz包，上传到服务器 /usr/local/software下
#解压文件
tar -zxvf jdk-8u311-linux-x64.tar.gz
#配置环境变量
vi /etc/profile
#在文件末尾追加
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_311 （你上述jdk文件地址）
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}
#配置文件生效
source /etc/profile
#测试javac
javac
java -version
2.3 压缩zookeeper文件，修改配置文件
#将 zoo_sample.cfg 文件复制并重命名为 zoo.cfg 文件。
cp zoo_sample.cfg zoo.cfg
server.A=B:C:D
A：其中 A 是一个数字，表示这个是服务器的编号；
B：是这个服务器的 ip 地址；
C：Zookeeper服务器之间的通信端口；
D：Leader选举的端口。
2.4 创建myid文件
在上述data文件夹下创建myid文件
我们在上述配置集群的时候，当前server对应几，myid中就写几
server.0=192.168.146.200:2888:3888
server.1=192.168.146.201:2888:3888
server.2=192.168.146.202:2888:3888
2.5 搭建遇到的问题
2.5.1 集群IP地址错误
上述配置中配成0.0.0.0是遇到的报错
解决方案：https://stackoverflow.com/questions/30940981/zookeeper-error-cannot-open-channel-to-x-at-election-address
2.5.2 防火墙的问题
去对应服务器开启对应端口的安全组，开放2181，2888，3888端口
- 查看firewall服务状态
systemctl status firewalld - 开启
systemctl startfirewalld - 重启
systemctl enable firewalld - 关闭
systemctl stop firewalld - 查看防火墙规则
firewall-cmd --list-all - 查询端口是否开放
firewall-cmd --query-port=8080/tcp - 开放80端口
firewall-cmd --permanent --add-port=80/tcp - 移除端口
firewall-cmd --permanent --remove-port=8080/tcp - 重启防火墙(修改配置后要重启防火墙)
firewall-cmd --reload
2.6 启动zookeeper
[root@shanghai2-zone3-01 bin]# ./zkServer.sh start
#有时候会报错，说找不到java_home
可以vi zkEnv.sh
#停止
[root@shanghai2-zone3-01 bin]# ./zkServer.sh stop
#重启
[root@shanghai2-zone3-01 bin]# ./zkServer.sh restart(没试过)
#查看zk集群状态
[root@shanghai2-zone3-01 bin]# ./zkServer.sh status
三 Kafka入门
3.1 部署
3.1.1 载kafka安装包
kafka.apache.org
3.1.2 集群部署
- 解压安装包
[root@ebs-60287 software]# tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/ - 修改解压后的文件名
[root@ebs-60287 module]# mv kafka_2.11-0.11.0.0/ kafka - 在/opt/module/kafka目录下创建logs文件夹
[root@ebs-60287 kafka]# mkdir logs - 修改配置文件（只需要修改server.properties）
– broker设置唯一标识
# The id of the broker. This must be set to a unique integer for each broker.
broker.id=0
-- 设置是否可以删除主题，默认false
# Switch to enable topic deletion or not, default value is false
#delete.topic.enable=true
############################# Socket Server Settings #############################
# The address the socket server listens on. It will get the value returned from
# java.net.InetAddress.getCanonicalHostName() if not configured.
# FORMAT:
# listeners = listener_name://host_name:port
# EXAMPLE:
# listeners = PLAINTEXT://your.host.name:9092
#listeners=PLAINTEXT://:9092
# Hostname and port the broker will advertise to producers and consumers. If not set,
# it uses the value for "listeners" if configured. Otherwise, it will use the value
# returned from java.net.InetAddress.getCanonicalHostName().
#advertised.listeners=PLAINTEXT://your.host.name:9092
# Maps listener names to security protocols, the default is for them to be the same. See the config documentation for more details
#listener.security.protocol.map=PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL
# The number of threads that the server uses for receiving requests from the network and sending responses to the network
num.network.threads=3
# The number of threads that the server uses for processing requests, which may include disk I/O
num.io.threads=8
# The send buffer (SO_SNDBUF) used by the socket server
socket.send.buffer.bytes=102400
- Log的配置
############################# Log Basics #############################
-- 日志文件地址（数据和日志都在）
# A comma seperated list of directories under which to store log files
log.dirs=/opt/module/kafka/logs
# The default number of log partitions per topic. More partitions allow greater
# parallelism for consumption, but this will also result in more files across
# the brokers.
num.partitions=1
# The number of threads per data directory to be used for log recovery at startup and flushing at shutdown.
# This value is recommended to be increased for installations with data dirs located in RAID array.
num.recovery.threads.per.data.dir=1
############################# Log Retention Policy #############################
# The following configurations control the disposal of log segments. The policy can
# be set to delete segments after a period of time, or after a given size has accumulated.
# A segment will be deleted whenever *either* of these criteria are met. Deletion always happens
# from the end of the log.
-- 日志文件（数据）保留多长时间 日志和数据都是以.log存放的
# The minimum age of a log file to be eligible for deletion due to age
log.retention.hours=168
# A size-based retention policy for logs. Segments are pruned from the log as long as the remaining
# segments don't drop below log.retention.bytes. Functions independently of log.retention.hours.
#log.retention.bytes=1073741824
# The maximum size of a log segment file. When this size is reached a new log segment will be created.
log.segment.bytes=1073741824
# The interval at which log segments are checked to see if they can be deleted according
# to the retention policies
log.retention.check.interval.ms=300000
- ZK的配置
############################# Zookeeper #############################
# Zookeeper connection string (see zookeeper docs for details).
# This is a comma separated host:port pairs, each corresponding to a zk
# server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".
# You can also append an optional chroot string to the urls to specify the
# root directory for all kafka znodes.
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181
# Timeout in ms for connecting to zookeeper
zookeeper.connection.timeout.ms=6000
############################# Group Coordinator Settings #############################
# The following configuration specifies the time, in milliseconds, that the GroupCoordinator will delay the initial consumer rebalance.
# The rebalance will be further delayed by the value of group.initial.rebalance.delay.ms as new members join the group, up to a maximum of max.poll.interval.ms.
# The default value for this is 3 seconds.
# We override this to 0 here as it makes for a better out-of-the-box experience for development and testing.
# However, in production environments the default value of 3 seconds is more suitable as this will help to avoid unnecessary, and potentially expensive, rebalances during application startup.
group.initial.rebalance.delay.ms=0
- 配置环境变量
3.1.3 相关命令
3.1.3.1 启动
#启动 阻塞
bin/kafka-server-start.sh config/server.properties
#启动 后台
bin/kafka-server-start.sh -daemon config/server.properties
3.1.3.2 停止
#停止
bin/kafka-server-stop.sh config/server.properties
3.1.3.3 创建topic
#创建topic
bin/kafka-topics.sh --create --zookeeper 192.168.1.200:2181 --topic test --partitions 1 --replication-factor 1
参数：
–topic 定义topic名
–replication-factor 定义副本数
–partitions 定义分区数
3.1.3.4 删除topic
#删除topic
bin/kafka-topics.sh --zookeeper 192.168.1.200:2181 --delete --topic first
3.1.3.5 查看topic和详情
#查看已创建的topic信息：（ip需要和config/server.properties的保持一致）
bin/kafka-topics.sh --list --zookeeper 192.168.1.200:2181
#查看某个topic详情
bin/kafka-topics.sh --zookeeper 192.168.1.200:2181 --describe --topic first
3.1.3.6 开启生产者模式
#开启生产者发送消息：（ip需要和config/server.properties的保持一致）
bin/kafka-console-producer.sh --broker-list 192.168.1.200:9092 --topic test
3.1.3.7 开启消费者模式
#开启消费者消费消息：（ip需要和config/server.properties的保持一致）
bin/kafka-console-consumer.sh --bootstrap-server 192.168.1.200:9092 --topic test --from-beginning
3.1.3.8 修改分区数
#修改分区数
bin/kafka-topic.sh --zookeeper 192.168.1.200:2181 --alter --topic first --partitions 6
3.1.3.9 群起/停脚本：
3.1.3.10 kafka相关报错问题
该情况下的虚拟机对外ip[暴露的ip]和真实ip[ifconfig显示的ip]可能只是映射关系，用户访问对外ip时，OpenStack会转发到对应的真实ip实现访问。
但此时如果 Kafka server.properties配置中的listeners=PLAINTEXT://xx.xx.xx.xx:9092中的ip配置为[对外ip]的时候无法启动，因为socket无法绑定监听，报如下错误
解决方法也很简单，listeners=PLAINTEXT://10.20.30.153:9092中的ip改为真实ip[ifconfig中显示的ip]即可，其他使用时正常使用对外ip即可，跟真实ip就没有关系了。
例:假如服务器对外访问的ip为123.44.55.66 内网地址为10.20.30.153
listeners=PLAINTEXT://10.20.30.153:9092
advertised.listeners=PLAINTEXT://123.44.55.66:9092
可通过ip a
查看eth0网卡的ip ->listeners
服务器Ip->advertised.listeners
3.1.4 本地测试
3.1.4.1 创建topic
topic：yangdezhi 创建成功。同时集群模式下，另外两个节点也能看到这个topic
