RDD沿袭/火花算子图的出色输出

Question

我对Spark RDD谱系或用于教育目的的操作员图的清晰清晰表示感兴趣。 我尝试了.toDebugString()但是我很难获得漂亮的打印效果（包括换行符等）。这是怎么回事？

Using Python version 3.6.4 (default, Mar  1 2018 18:36:42)

SparkSession available as 'spark'.
>>> sc
<SparkContext master=local[*] appName=PySparkShell>
>>> rdd = sc.parallelize(range(10000))
>>> rdd.toDebugString()
b'(4) PythonRDD[1] at RDD at PythonRDD.scala:48 []\n |  ParallelCollectionRDD[0] at parallelize at PythonRDD.scala:175 []'
>>> print(rdd.toDebugString())
b'(4) PythonRDD[1] at RDD at PythonRDD.scala:48 []\n |  ParallelCollectionRDD[0] at parallelize at PythonRDD.scala:175 []'
>>> 

除了调试字符串之外，是否还有更好的可视化图形的方法？

Answer 1

但是我很难把它打印出来

因为它是bytes对象。 只需decode结果：

>>> print(rdd.toDebugString().decode("utf-8"))
(4) PythonRDD[1] at RDD at PythonRDD.scala:48 []
 |  ParallelCollectionRDD[0] at parallelize at PythonRDD.scala:489 []

有没有更好的可视化图表的方法？

Spark UI中的DAG可视化通常绰绰有余。