PySpark Juypter 筆記本顯示器

Question

我對 jupyter 筆記本很陌生，我正在努力以類似於普通熊貓 dataframe（圖 2）的更簡潔的方式展示我的 spark 表（圖 1）。 我試圖不使用 pandas。

顯示 function 在 spark dataframe 上不起作用：（有人可以幫我嗎？這將使我更容易分析 spark 表。

Answer 1

構建 spark session 時，添加配置。

.config("spark.sql.repl.eagerEval.enabled", True)

例如，

import findspark
findspark.init()

from pyspark.sql import SparkSession

spark = SparkSession.builder \
          .master("local") \
          .config("spark.sql.repl.eagerEval.enabled", True) \
          .getOrCreate()

只需調用不帶 .show 的.show如下

df

將以這種方式打印結果。