debezium关于cdc的使用(下)

简介

debezium在debezium关于cdc的使用(上)中有做介绍。具体可以跳到上文查看。本篇主要讲述使用kafka connector方式来同步数据。而kafka connector实际上也有提供其他的sink(Kafka Connect JDBC)来同步数据，但是没有delete事件。所以在这里选择了Debezium MySQL CDC Connector方式来同步。本文需要使用Avro方式序列化kafka数据。

流程

第一步准备

使用kafka消息中间介的话需要对应的服务支持，尤其需要chema-registry来管理schema，因电脑内存有限就没使用docker方式启动，如果条件ok内存够大的话阔以使用docker方式。所以使用的就是local本地方式。具体下载，安装，部署，配置环境变量我就不在重复描述了，阔以参考官方文档。

第二步启动kafka配套

进入目录后启动bin/confluent start

第三步创建kafka topic

可以通过kafka命令创建topic也可以通过Confluent Control Center 地址：http://localhost:9021来创建topic。我们还是按照上文的表来同步数据，所以创建topic：dbserver1.inventory.demo。

第四步创建kafka connect

可以通过kafka rest命令创建也可以使用Confluent Control Center创建。

connect的api命令参考

方便点可以使用crul创建，以下为配置文件

{
   
  "name": "inventory-connector",
  "config": {
   
    "connector.class": "io.debezium.connector.mysql.MySqlConnector",
    "tasks.max": "1",
    "database.hostname": "localhost",
    "database.port": "3306",
    "database.user": "debezium",
    "database.password": "dbz",
    "database.server.id": "184054",
    "database.server.name": "dbserver1",
    "database.whitelist": "inventory",
    "decimal.handling.mode": "double",
    "key.converter": "io.confluent.connect.avro.AvroConverter",
    "key.converter.schema.registry.url": "http://localhost:8081",
    "value.converter": "io.confluent.connect.avro.AvroConverter",
    "value.converter.schema.registry.url": "http://localhost:8081",
    "database.history.kafka.bootstrap.servers": "localhost:9092",
    "database.history.kafka.topic": "dbhistory.inventory"
  }
}

创建好后可以使用命令查询到或者在管理中心查看。

命令：http://localhost:8083/connectors/inventory-connector

第五步启动同步程序

配置

spring:
  application:
    name: data