如何在 Foundry 中使用 transform_df 添加列描述？

Question

通常，我可以像這樣添加帶有transform的列描述：

from transforms.api import Input, Output, transform
from utils import COLUMN_DESCRIPTIONS


@transform(
        output=Output("/Shared/output"),
        raw=Input("/Shared/raw_input")
)
def clean_table(raw, output):
    raw = raw.dataframe()
    output.write_dataframe(
        raw,
        column_descriptions=COLUMN_DESCRIPTIONS
    )

我可以用transform_df做類似的事情嗎？

Answer 1

不幸的是，目前無法使用transform_df對 output 列描述進行操作，您必須為此使用transform裝飾器。 這是因為transform_df返回一個原生 Spark DataFrame，它不支持列描述。

有關列描述的更多信息，請參閱Palantir 文檔中的列元數據。