如何通过将数据帧作为输入来编写 pytest 以获取 palantir 代工厂中的所有必需值

Question

我可以通过手动提供列名和值来创建数据框并将其传递给生产代码以检查 palantir 代工厂代码存储库中所有转换的字段值来编写pytest函数。

我不想手动传递列名及其各自的值，而是想将所有必需的数据存储在数据集中并将该数据集导入pytest函数以获取所有必需的值并传递给生产代码以检查所有转换后的字段值。

无论如何接受数据集作为 planatir 代码存储库中测试函数的输入。

Answer 1

您无法在运行测试时从数据集中读取数据。 但是，也许您可​​以创建测试数据集，将其另存为 CSV，然后在测试中使用测试的 spark 会话读取 CSV。 代码类似于spark.read.csv("path") 。

这将增加文件 I/O 时间并减慢您的测试速度，因此我的建议是仅使用内存中已有的测试数据创建数据帧。 该代码将是spark.createDataFrame(data) 。