Bootstrap

调度数据中断的错误排查

最近一次发现离线数据流居然凌晨调度失败,上午工作的时候被老板提起说数据断了,于是我果不其然发现有工作流的任务节点中间断开,运行失败。
重新跑,依然是卡在凌晨的节点上
运行一个小时未果,于是就让运维去排查

yarn application -list

这个指令是对于yarn中mapreduce中慢数据进行查看,是否是任务产生了慢数据。如果有太多的任务,一定要暂停掉其他的hive中的任务。

悦读

道可道,非常道;名可名,非常名。 无名,天地之始,有名,万物之母。 故常无欲,以观其妙,常有欲,以观其徼。 此两者,同出而异名,同谓之玄,玄之又玄,众妙之门。

;