pyspark的运行鼻子测试

Question

一个人怎么会与运行单元测试nose为Python编写的Apache星火应用程序？

用nose通常只会调用命令

nosetests

在Python软件包的tests目录中运行测试。 为了启用pyspark -module的导入，需要使用spark-submit命令而不是通常的Python-executable运行Pyspark脚本。 我将如何结合nosetests与pyspark运行测试我的星火应用程序？

Answer 1

如果有帮助，我们可以使用鼻子测试来测试闪闪发光的熊猫 。 我们在utils文件中做了一些魔术，将pyspark添加到基于SPARK_HOME shell环境变量的路径。