目录

前言

一、业务背景

二、数据中台1.0—Lambda

三、新架构的设计目标

四、数据中台2.0—Apache Doris

4.1 新架构数据流转

4.2 新架构收益

五、新架构的落地实践

5.1 模型选择

5.1.1 Unique模型

5.1.2 Aggregate模型

5.2 资源管理

5.3  批量建表

5.4 计算实现

5.4.1 实时计算

5.4.2 准实时计算 

通过 Java UDF 生成增量/全量数据

基于 Doris的大表优化

Doris Borker的协同计算

联邦查询在数据分析场景下的尝试

六、运维保障

6.1 守护进程

6.2 Grafana 监控报警

七、总结收益

八、未来规划

  原文大佬的这篇Doris数仓建设案例有借鉴意义，这里摘抄下来用作学习和知识沉淀。如有侵权请告知~

前言

     拈花云科NearFar X Lab 团队调研并引进 Doris作为新架构下的数据仓库选型方案。下文主要介绍了拈花云科数据中台架构从 1.0 到 2.0 的演变过程，以及Doris在交付型项目和SaaS产品中的应用实践。

一、业务背景

   拈花云科的服务对象主要是国内各个景区、景点，业务范围涵盖文旅行业的多个板块，如票务、交通、零售、住宿、餐饮、影院、KTV、租赁等。多业务线下用户对于数据使用的时效性需求差异较大，需要能够提供实时、准实时、T+1的业务支撑能力。同时由于大部分景区为国有化的特点，也需要具备能够提供私有化交付部署及SaaS化数据中台产品解决方案的双重服务支撑能力。