Spark流媒體和模擬HDFS

Question

需要對Spark Streaming代碼實施測試。 使用此庫 ，此特定代碼在單獨的jvm中運行。上述應用程序的輸入為hdfs。 我已經像本例（Java版本）中那樣啟動了MiniDFSCluster，但是我認為這不會起作用，因為它們位於兩個不同的JVM中。

如果我要成功測試Spark Streaming代碼，那么模擬hdfs輸入的最佳方法是什么。

我已經大致解釋了上述情況。 真正的要求是實施成功的黃瓜測試。

Answer 1

可以嘗試在本地模式下運行Spark並指定諸如“ file：/// foo / bar”之類的路徑，而不是嘗試模擬hdfs-然后將使用本地文件系統代替hdfs。