1.Maven依赖导入
<dependency>
<groupId>org.apache.doris</groupId>
<artifactId>flink-doris-connector-1.16</artifactId>
<version>1.4.0</version>
</dependency>
1.1版本兼容
Connector Version | Flink Version | Doris Version | Java Version | Scala Version |
---|---|---|---|---|
1.0.3 | 1.11+ | 0.15+ | 8 | 2.11,2.12 |
1.1.1 | 1.14 | 1.0+ | 8 | 2.11,2.12 |
1.2.1 | 1.15 | 1.0+ | 8 | - |
1.3.0 | 1.16 | 1.0+ | 8 | - |
1.4.0 | 1.15,1.16,1.17 | 1.0+ | 8 | - |
2.代码实现(DataStream)
DorisSink是通过StreamLoad向Doris写入数据,DataStream写入时,支持不同的序列化方法。这里以String 数据流为例。
2.1Doris表准备
CREATE TABLE IF NOT EXISTS demo.test
(
`user_id` LARGEINT NOT NULL COMMENT "用户id",
`cost` BIGINT SUM DEFAULT "0" COMMENT "用户总消费"
)
AGGREGATE KEY(`user_id`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
PROPERTIES (
"replication_allocation" = "tag.location.default: 1"
);
2.2 java实现
@Test
public void test01() throws Exception {
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1);
env.enableCheckpointing(10000);
Properties properties = new Properties();
DorisSink<String> dorisSink = DorisSink.<String>builder() // 创建一个DorisSink对象用于将数据写入Doris数据库
.setDorisOptions( // 设置Doris数据库的连接选项
DorisOptions.builder() // 创建一个DorisOptions对象
.setFenodes("FE_IP:HTTP_PORT") // 设置Fenode服务器地址
.setTableIdentifier("db.table") // 设置表的标识符
.setUsername("root") // 设置用户名
.setPassword("123456") // 设置密码
.build() // 构建DorisOptions对象
)
.setDorisExecutionOptions( // 设置Doris数据库的执行选项
DorisExecutionOptions.builder() // 创建一个DorisExecutionOptions对象
.setLabelPrefix("doris") // 设置标签前缀
.setDeletable(false) // 设置是否可删除
.setStreamLoadProp(properties) // 设置流加载属性
.build() // 构建DorisExecutionOptions对象
)
.setDorisReadOptions( // 设置Doris数据库的读取选项
DorisReadOptions.builder().build() // 创建一个DorisReadOptions对象并构建
).setSerializer(new SimpleStringSerializer()) // 设置数据序列化方式为SimpleStringSerializer
.build(); // 构建DorisSink对象
DataStreamSource<String> streamSource = env.fromElements("50" + "\t" + 1);
streamSource.print();
streamSource.sinkTo(dorisSink);
env.execute();
}
2.3 配置项
-
setLabelPrefix:Stream load导入使用的label前缀。2pc场景下要求全局唯一 ,用来保证Flink的EOS语义。
-
setStreamLoadProp:
常用配置:可以在properties中添加
自定义字符串列分隔符:sink.properties.column_separator' = ', '
特殊字符作为分隔符:'sink.properties.escape_delimiters' = 'true'
如果是JSON格式导入需要加2个配置项
'sink.properties.format' = 'json'
'sink.properties.read_json_by_line' = 'true'
-
setDeletable:是否开启批量删除功能。只支持 Unique 模型(默认为true)