遇到一个坑,我在使用spark-core时,使用了foreachPartition方法,程序如下
使用foreachPartition进行往redis中存值,对里面的Iterator使用了map方法,但是并没有存进去,换成foreach方法可以
val conf = new SparkConf().setAppName(this.getClass.getName).setMaster("local")
val sc =
遇到一个坑,我在使用spark-core时,使用了foreachPartition方法,程序如下
使用foreachPartition进行往redis中存值,对里面的Iterator使用了map方法,但是并没有存进去,换成foreach方法可以
val conf = new SparkConf().setAppName(this.getClass.getName).setMaster("local")
val sc =
道可道,非常道;名可名,非常名。 无名,天地之始,有名,万物之母。 故常无欲,以观其妙,常有欲,以观其徼。 此两者,同出而异名,同谓之玄,玄之又玄,众妙之门。