Bootstrap

Flume 之 对接 Kafka

Flume 之 对接 Kafka

数据分离

0)需求: 将flume采集的数据按照不同的类型输入到不同的topic中

​ 将日志数据中带有 xiao 的,输入到Kafka的 xiao主题中,

​ 将日志数据中带有 big 的,输入到Kafka的 big 主题中,

​ 其他的数据输入到Kafka的 other 主题中

1)先导入 flume 的依赖

        <dependency>
            <groupId>org.apache.flume</groupId>
            <artifactId>flume-ng-core</artifactId>
            <version>1.9.0</version>
        </dependency>

2) 编写 Flume 的Interceptor

package com.xiaoxiao.flume;


import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.interceptor.Interceptor;

import java.util.List;
import java.util.Map;

/**
 * Flume  拦截器
 * @author xiaohu
 * @create 2020-08-29 14:39
 */
public cla
;