如何在 palantir-foundry 中導入和使用 Spark-Koalas

Question

How can I -- in Palantir-foundry -- import and use the "Koalas: pandas API for Apache Spark" open source python package.

我知道您可以通過 Code Repo 導入不存在的包並完成此操作，我可以為 Koalas package 執行相同的過程還是需要遵循另一條路線？

Answer 1

我能夠使用 Code Repo 上傳 package 的本地克隆，然后使用此處詳述的步驟在平台中添加 package： 如何創建 Z23EEEB4347BDD26BFC6B7EE9A3B75antirDDZ 庫以及如何將其導入到伙伴庫中

然而，不久之后，Palantir 管理員推出了一個更新，其中包括 Koalas package 作為平台的原生 package。 但是，到目前為止，我還沒有時間嘗試將其用於任何主要任務。

Answer 2

Koalas 在 Apache Spark 3.2 中作為 **pandas API on Spark** 正式包含在 PySpark 中。 在 Spark 3.2+ 中，您不再需要導入考拉，因為它附帶了 pyspark。 唯一需要的操作是添加 pandas 和 pyarrow，因為這些是代碼存儲庫默認不包含的必需依賴項。 您可以通過庫選項卡執行此操作。

您可以使用此測試轉換確認它是否有效

@transform_df(
    Output("OUTPUT_DATASET_PATH"),
)
def compute():
    import pyspark.pandas as ps
    psdf = ps.DataFrame(
    {'a': [1, 2, 3, 4, 5, 6],
     'b': [100, 200, 300, 400, 500, 600],
     'c': ["one", "two", "three", "four", "five", "six"]},
    index=[10, 20, 30, 40, 50, 60])
    return psdf.to_spark()

要確認您在代碼存儲庫中使用的是 Spark 3.2+，請合並任何待處理的升級 PR。 在 Spark 3.2 之前，可以通過 Libraries 選項卡導入考拉