Bootstrap

Kafka的安装及相关操作命令


前言

kafka_2.11-0.10.2.1,该版本较旧,依赖zookeeper。


提示:以下是本篇文章正文内容,下面案例可供参考

一、安装kafka

1. 下载kafka

通过命令行下载kafka

wget https://archive.apache.org/dist/kafka/0.10.2.1/kafka_2.11-0.10.2.1.tgz

或者访问如下地址,通过浏览器下载,然后传至指定目录

https://archive.apache.org/dist/kafka/0.10.2.1/kafka_2.11-0.10.2.1.tgz

2. 解压kafka

使用如下命令解压

# 创建目录 kafka_2.11-0.10.2.1
mkdir -p /Users/bigdata/kafka/kafka_2.11-0.10.2.1
# 解压
tar -xzf kafka_2.11-0.10.2.1.tgz -C /Users/bigdata/kafka/kafka_2.11-0.10.2.1 --strip-components=1

--strip-components=1:用于在解压时去除指定数量的目录层次,会在解压时去掉最顶层的一级目录。
如果不想搞的这么复杂,将tgz包传到指定目录,tar -zxf 解压即可。

3. 配置环境变量

vi ~/.bash_profile

增加如下配置:

export KAFKA_HOME=/Users/bigdata/kafka/kafka_2.11-0.10.2.1
export PATH=$PATH:$KAFKA_HOME/bin

保存后退出,使配置生效

source ~/.bash_profile

二、kafka相关命令

1. 启动zk

zkServer.sh start

2. 启动Kafka Broker

kafka-server-start.sh config/server.properties

3. 创建主题

kafka-topics.sh --zookeeper localhost:2181 --create --topic test1 --partitions 1 --replication-factor 1

--replication-factor:指定主题的副本因子,即每个分区的副本数量。
--partitions:指定主题的分区数量。

4. 列出所有主题

kafka-topics.sh --list --zookeeper localhost:2181

5. 查看主题详情

kafka-topics.sh --describe --zookeeper localhost:2181 --topic test1

6. 删除主题

kafka-topics.sh --delete --zookeeper localhost:2181 --topic test1

--delete:删除指定的主题,但要确保 delete.topic.enable=true 在 server.properties 中配置,否则只是标记删除

7. 启动控制台生产者

# 启动之后,直接在当前控制台输入消息,回车之后就会发送到指定主题
kafka-console-producer.sh --broker-list localhost:9092 --topic test1

8. 启动控制台消费者

读取主题test1的数据,输出到控制台

kafka-console-consumer.sh --zookeeper localhost:2181 --topic test1 --from-beginning

--from-beginning:表示从主题的最早消息开始消费,若不指定则从最新消息开始。

9. 验证结果

查看test1主题有多少数据

kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic test1 -time -1 --offsets 1

10. 其他

消费者组相关、修改主题配置相关,待用到时补充。


;