使用Google Cloud Dataflow SDK讀取流數據

Question

我正在開發需要從Pu​​bSub主題讀取流數據的IOT應用程序。 我想使用Google Cloud Dataflow SDK讀取此數據。 我正在使用Java 1.8

我正在使用Google Cloud Platform試用版。 當我使用PubSubIO.Read方法讀取流數據時，在日志文件中收到錯誤消息，表明我的項目沒有足夠的CPU配額來運行該應用程序。

因此，我想使用Google Cloud Dataflow SDK讀取流數據。

有人可以告訴我在哪里可以找到使用Google Cloud Dataflow SDK讀取流數據的完整示例。

提前致謝。

Answer 1

Cloud Dataflow文檔中“ 完整示例”下提供了許多完整示例，並且在Github上“ 完整示例”下也提供了許多完整示例 。

根據錯誤消息，您確實沒有足夠的CPU配額來運行默認的3x 4線程（ n1-standard-4 ）工作線程。 Google Cloud試用版的CPU配額為 8個CPU。

您可以將作業配置為需要更少的CPU，例如通過使用更少的工作程序（例如--numWorkers=1 ）或其他機器類型（ --workerMachineType=n1-standard-1 ）。