目录

一、采用海豚调度器+Doris开发平替CDH Hdfs + Yarn + Hive + Oozie的理由。

1. 架构复杂性

2. 数据处理性能

3. 数据同步与更新

4. 资源利用率与成本

6. 生态系统与兼容性

7. 符合信创或国产化要求

二、ODS层接入数据

接入kafka实时数据

踩坑的问题细节 

三、海豚调度器调度Doris进行报表开发

创建带分区的表

在doris进行开发调试

开发海豚调度器脚本

解决shell脚本使用 MySQL 命令行给 SQL 文件传参遇到的坑

 综合案例

一、采用海豚调度器+Doris开发平替CDH Hdfs + Yarn + Hive + Oozie的理由。

海豚调度器+Doris离线数仓方案与CDH Hive在多个方面存在显著差异，以下是对这两种方案的对比分析：

1. 架构复杂性

• CDH Hive：基于Hadoop生态，组件众多，配置和维护复杂，需要管理HDFS、YARN、Hive等多个服务。
• 海豚调度器+Doris：架构简化，易于部署和维护。Doris本身是一个高性能的分布式OLAP数据库，支持在线模式变更，减少了额外的组件和复杂性。