在前面我们已经开启了Mysql的bin_log功能,安装了canal,成功实时监控了mysql,接下来,我们将mysql中做的操作实时推送到kafka指定的topic中
1关闭canal,写配置文件
vim …/canal/canal.properties 添加如下内容
将servermode更改为kafka,以前是tcp此时前面在客户端上的canal链接会失败
vim /canal/conf/mq.yml
partition不要写
2、启动
先启动zookeeper
启动kafka集群
./kafka-server-start.sh -daemon ../config/server.properties
如果有名为example的topic,删除掉
./bin/kafka-topics --delete --zookeeper 【zookeeper server】 --topic example
启动mysql
启动canal
./startup.sh
3在mysql中插入一条数据,观察在kafka中的topic是否有对应的信息
/opt/softs/kafka_2.11-1.1.0/bin/kafka-console-consumer.sh --zookeeper 192.168.240.13