格式AWS胶火花dataframe output

Question

我正在尝试在日志上打印我的 DataFrame：

datasource0 = glueContext.create_dynamic_frame.from_catalog(database = "dev", table_name = "sellout_data_cw01_15_csv", transformation_ctx = "datasource0")
....
dataframe = datasource0.toDF()
dataframe.show(10)

但是 output 都搞砸了。 如何正确格式化它，就像在正常 python 中使用 pandas 的表格一样？

Answer 1

这是胶水问题。 您需要将 go 放入作业运行的 CloudWatch 日志中，以查看其格式。