Bootstrap

4.canal实时监控Mysql并推送到kafka中

在前面我们已经开启了Mysql的bin_log功能,安装了canal,成功实时监控了mysql,接下来,我们将mysql中做的操作实时推送到kafka指定的topic中
1关闭canal,写配置文件
vim …/canal/canal.properties 添加如下内容
在这里插入图片描述在这里插入图片描述
将servermode更改为kafka,以前是tcp此时前面在客户端上的canal链接会失败
vim /canal/conf/mq.yml
在这里插入图片描述
partition不要写
2、启动
先启动zookeeper
启动kafka集群

./kafka-server-start.sh -daemon ../config/server.properties 

如果有名为example的topic,删除掉

 ./bin/kafka-topics  --delete --zookeeper 【zookeeper server】  --topic example

启动mysql
启动canal
./startup.sh
3在mysql中插入一条数据,观察在kafka中的topic是否有对应的信息

/opt/softs/kafka_2.11-1.1.0/bin/kafka-console-consumer.sh --zookeeper 192.168.240.13
;