火花读/写 function 到 azure 数据湖安装路径的单元测试

Question

我对单元测试很陌生，我需要为火花读/写 function 编写单元测试。

我有一个 function ，例如：

def read_file(path, format, logger):
   df = spark.read.load(path, format = format)
   etc.....
   return df

注意：路径已安装。

现在我需要为此 function / mock adls location编写单元测试。

我检查了下面的链接，该链接使用补丁来模拟 blobServiceClient，但我不确定这是否对我有用，因为它使用的是 python 的开放 function。

甚至可以模拟adls，如果可以的话怎么办？

任何人都可以在这方面帮助我。 任何帮助，将不胜感激。

Answer 1

确保 HDFS 在本地可用。 如果您在 Windows 上运行测试，请确保阅读此自述文件 https://github.com/steveloughran/winutils

此 repo 引用了此其他 repo 以获得较新版本。 这 2 个 github 贡献者是 Hadoop 团队的成员，这些是我用于本地环境的二进制文件。

完成此设置后，您可以传递本地路径。 它们可以是本地 linux 或 windows 路径。