如何在 palantir-foundry 中导入和使用 Spark-Koalas

Question

How can I -- in Palantir-foundry -- import and use the "Koalas: pandas API for Apache Spark" open source python package.

我知道您可以通过 Code Repo 导入不存在的包并完成此操作，我可以为 Koalas package 执行相同的过程还是需要遵循另一条路线？

Answer 1

我能够使用 Code Repo 上传 package 的本地克隆，然后使用此处详述的步骤在平台中添加 package： 如何创建 Z23EEEB4347BDD26BFC6B7EE9A3B75antirDDZ 库以及如何将其导入到伙伴库中

然而，不久之后，Palantir 管理员推出了一个更新，其中包括 Koalas package 作为平台的原生 package。 但是，到目前为止，我还没有时间尝试将其用于任何主要任务。

Answer 2

Koalas 在 Apache Spark 3.2 中作为 **pandas API on Spark** 正式包含在 PySpark 中。 在 Spark 3.2+ 中，您不再需要导入考拉，因为它附带了 pyspark。 唯一需要的操作是添加 pandas 和 pyarrow，因为这些是代码存储库默认不包含的必需依赖项。 您可以通过库选项卡执行此操作。

您可以使用此测试转换确认它是否有效

@transform_df(
    Output("OUTPUT_DATASET_PATH"),
)
def compute():
    import pyspark.pandas as ps
    psdf = ps.DataFrame(
    {'a': [1, 2, 3, 4, 5, 6],
     'b': [100, 200, 300, 400, 500, 600],
     'c': ["one", "two", "three", "four", "five", "six"]},
    index=[10, 20, 30, 40, 50, 60])
    return psdf.to_spark()

要确认您在代码存储库中使用的是 Spark 3.2+，请合并任何待处理的升级 PR。 在 Spark 3.2 之前，可以通过 Libraries 选项卡导入考拉