【Flink实战系列】Flink 双流 Join 出现数据倾斜如何解决？
在 Flink 里面常见的数据倾斜有两种
- 计算场景
- Join 场景
第一种计算场景，比如我们常说的 WordCount 计算，这种问题可以参考这篇文章，Flink发生数据倾斜怎么优化任务?(两段聚合的方式)
第二种 Join 场景，是我们今天的重点，在实际的开发中，我们可能需要关联两个流做数据补全，比如维表关联，主流的数据量很大，维表数据量很小，根据主键关联的时候，需要根据主键做 keyby 操作，因为主流中主键分布极其不均匀导致严重数据倾斜，从而导致任务的 cp 失败。