在 Palantir Foundry 中，我应该如何在转换中获取当前的 SparkSession？

Question

我正在编写一个 Python 转换并且需要获取 SparkSession，以便我可以构造一个 DataFrame。

我该怎么做？

Answer 1

您可以在转换中将 SparkContext 作为参数传递，然后可以使用它来生成 SparkSession。

@transform(
    output=Output('/path/to/first/output/dataset'),
)
def my_compute_function(ctx, output):
    # type: (TransformContext, TransformOutput) -> None

    # In this example, the Spark session is used to create an empty data frame.
    columns = [
        StructField("col_a", StringType(), True)
    ]
    empty_df = ctx.spark_session.createDataFrame([], schema=StructType(columns))

    output.write_dataframe(empty_df)

此示例也可以在此处的 Foundry 文档中找到： https ://www.palantir.com/docs/foundry/transforms-python/transforms-python-api/#transform