如何注冊自定義Spark結構化流源

Question

我需要通過擴展FileStreamSource創建一個自定義流媒體源。 這個想法是重寫提交，以便將處理的文件（在這種情況下為S3對象）重命名為具有特定的前綴。 但是，我不知道如何使用此自定義源。 顯然，我不想編譯Spark-該應用程序將在Amazon EMR集群上運行。

Answer 1

在項目中創建自定義源之后，您需要以DataStreamReader的format注冊它：

val input = spark
  .readStream
  .format("path.to.MyCustomFileStreamSource")
  .load