[英]Spark streaming and mocking hdfs
需要对Spark Streaming代码实施测试。 使用此库 ,此特定代码在单独的jvm中运行。上述应用程序的输入为hdfs。 我已经像本例(Java版本)中那样启动了MiniDFSCluster,但是我认为这不会起作用,因为它们位于两个不同的JVM中。
如果我要成功测试Spark Streaming代码,那么模拟hdfs输入的最佳方法是什么。
我已经大致解释了上述情况。 真正的要求是实施成功的黄瓜测试。
可以尝试在本地模式下运行Spark并指定诸如“ file:/// foo / bar”之类的路径,而不是尝试模拟hdfs-然后将使用本地文件系统代替hdfs。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.