Bootstrap

sparksql和hive读取结果不一致

sparksql读不到表内容,但是hive却是可以,后来排查到是因为hive表有多级目录,所以需要配置下sparksql参数:

spark.sql.hive.convertMetastoreParquet=false

mapred.input.dir.recursive=true

如果是hive可配置

mapreduce.input.fileinputformat.input.dir.recursive=true

hive.mapred.supports.subdirectories=true

;