pyspark中的結構化流

Question

我試圖將數據從另一台服務器流式傳輸到HBase，並能夠在Python中定義不同的列系列。 我在Spark文檔中環顧四周，僅看到：

writestream.format('jdbc').start('jdbc:///')

如何將直接映射到HBase並具有將數據映射到不同列族的功能？

Answer 1

您可以使用foreach （Scala或Java）將數據寫入HBase： http : //spark.apache.org/docs/latest/structured-streaming-programming-guide.html#using-foreach