Apache 光束 HTTP 無界源 Python

Question

是否可以使用當前版本的 Apache Beam 開發一個無界源來接收 HTTP 消息中的數據？ 我的意圖是運行 HTTP 服務器並將收到的消息注入 Beam 管道。 如果可能的話，可以用現有的資源來完成嗎？

Answer 1

有可能的。 您可以利用Splittable DoFn來開發它。來源看起來他們將在不久的將來貶值。

From my end, I am trying to develop such a pipeline that would consume a Rest API that is streaming Json messages in the get's body and supports multiple connections, hence splitting the workload on API side like Adobe Livestream or Twitter . 此行為應在消費者端啟用擴展（數據流）

我的掙扎是我無法從這個用例中找出一個可拆分的限制。 流是無限的，並且沒有像 Kafka 或字節范圍（文件）這樣的消息傳遞代理中的偏移量。 我想首先構建元素限制對，例如：（url，緩沖閱讀器），但我認為緩沖閱讀器不能拆分。

解決方案之一可能是根本不提供限制。 我很難想象管道將如何分配元素從而擴展。