如何将数据帧转换为 great_expectations 数据集？

Question

我有一个 Pandas 或 pyspark 数据帧df ，我想在其中运行期望值。 我已经在内存中有我的数据框。 如何将我的数据框转换为 great_expectations 数据集？

这样我就可以做例如：

df.expect_column_to_exist("my_column")

Answer 1

import great_expectations as ge

对于熊猫：

df_ge = ge.from_pandas(df)

或者

df_ge = ge.dataset.PandasDataset(df)

对于pyspark：

df_ge = ge.dataset.SparkDFDataset(df)

现在你可以运行你的期望

df_ge.expect_column_to_exist("my_column")

请注意，great_expectations SparkDFDataset 没有从 pyspark DataFrame 继承函数。 您可以通过df_ge.spark_df访问原始 pyspark df_ge.spark_df

Answer 2

另请参阅 Great Expectations 文档/教程，了解使用ge.from_pandas转换 Pandas DF 的替代版本： https : ge.from_pandas