Bootstrap

【spark】远程debug spark任务(含有pyspark)

--master yarn--master client都是可以的。

spark-submit \
--master yarn \
--deploy-mode client \
--name "test-remote-debug" \
--conf "spark.driver.extraJavaOptions=-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5005" \
--conf "spark.executor.extraJavaOptions=-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=*:5006" \
/home/user/test.py

idea中如下配置,当然需要配置两个debug任务并同时启动。
在这里插入图片描述

运行spark-submit后再在idea中debug即可。在这里插入图片描述

;