Bootstrap

DBT踩坑第三弹

1. dbt在获取元数据信息的时候,底层使用pyHive的时候database信息没有传进去,pyHive默认又是会设置database='default',如果没有default库权限的,这个时候就会抛出Access异常。所以此时最好修改下 dbt-spark 的源码,把database的信息给传进去。

2. PYTHON虚拟环境,debain 和 centos 是不兼容的,得重新打包,害...当然这是由于我对python虚拟环境的不熟悉,不能算是dbt的问题

3. 使用persist_doc功能(给表和字段增加注释信息),发现对GP生效,但是对spark不生效。源码中写着只对delta hudi iceberg生效,得修改下源码,使其对其他格式生效:

;