[英]display DataFrame when using pyspark aws glue
如何使用 aws 胶水的作业 etl 显示 DataFrame?
我在下面尝试了这段代码,但没有显示任何内容。
df.show()
代码
datasource0 = glueContext.create_dynamic_frame.from_catalog(database = "flux-test", table_name = "tab1", transformation_ctx = "datasource0")
sourcedf = ApplyMapping.apply(frame = datasource0, mappings = [("id", "long", "id", "long"),("Rd.Id_Releve", "string", "Rd.Id_R", "string")])
sourcedf = sourcedf.toDF()
data = []
schema = StructType(
[
StructField('PM',
StructType([
StructField('Pf', StringType(),True),
StructField('Rd', StringType(),True)
])
),
])
cibledf = sqlCtx.createDataFrame(data, schema)
cibledf = sqlCtx.createDataFrame(sourcedf.rdd.map(lambda x: Row(PM=Row(Pf=str(x.id_prm), Rd=None ))), schema)
print(cibledf.show())
job.commit()
在您的胶水控制台中,运行您的胶水作业后,在作业列表中会有一个日志/错误日志列。
单击日志,这会将您带到与您的工作相关联的 cloudwatch 日志。 浏览打印语句。
也请检查这里: 将动态帧转换为数据帧并执行 show()
添加了工作/测试代码示例
代码示例:
zipcode_dynamicframe = glueContext.create_dynamic_frame.from_catalog(
database = "customer_db",
table_name = "zipcode_master")
zipcode_dynamicframe.printSchema()
zipcode_dynamicframe.toDF().show(10)
cloudwatch 日志中 zipcode_dynamicframe.show() 的屏幕截图:
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.