最近一次发现离线数据流居然凌晨调度失败,上午工作的时候被老板提起说数据断了,于是我果不其然发现有工作流的任务节点中间断开,运行失败。
重新跑,依然是卡在凌晨的节点上
运行一个小时未果,于是就让运维去排查
yarn application -list
这个指令是对于yarn中mapreduce中慢数据进行查看,是否是任务产生了慢数据。如果有太多的任务,一定要暂停掉其他的hive中的任务。
最近一次发现离线数据流居然凌晨调度失败,上午工作的时候被老板提起说数据断了,于是我果不其然发现有工作流的任务节点中间断开,运行失败。
重新跑,依然是卡在凌晨的节点上
运行一个小时未果,于是就让运维去排查
yarn application -list
这个指令是对于yarn中mapreduce中慢数据进行查看,是否是任务产生了慢数据。如果有太多的任务,一定要暂停掉其他的hive中的任务。
道可道,非常道;名可名,非常名。 无名,天地之始,有名,万物之母。 故常无欲,以观其妙,常有欲,以观其徼。 此两者,同出而异名,同谓之玄,玄之又玄,众妙之门。