使用Eclipse在Dataflow上運行WordCount示例管道時出錯

Question

嘗試在Eclipse IDE下使用Dataflow運行WordCount示例管道時，出現以下錯誤：

Exception in thread "main" java.lang.RuntimeException: Failed to construct instance from factory method DataflowRunner#fromOptions(interface org.apache.beam.sdk.options.PipelineOptions)
    at org.apache.beam.sdk.util.InstanceBuilder.buildFromMethod(InstanceBuilder.java:233)
    at org.apache.beam.sdk.util.InstanceBuilder.build(InstanceBuilder.java:162)
    at org.apache.beam.sdk.PipelineRunner.fromOptions(PipelineRunner.java:55)
    at org.apache.beam.sdk.Pipeline.create(Pipeline.java:150)
    at com.google.cloud.dataflow.examples.WordCount.main(WordCount.java:178)

Caused by: java.lang.reflect.InvocationTargetException
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.beam.sdk.util.InstanceBuilder.buildFromMethod(InstanceBuilder.java:222)
    ... 4 more

Caused by: java.lang.IllegalArgumentException: Missing object or bucket in path: 'gs://mysite-ga-datastreaming-196008-my-bucket/', did you mean: 'gs://some-bucket/mysite-ga-datastreaming-196008-my-bucket'?
    at org.apache.beam.sdks.java.extensions.google.cloud.platform.core.repackaged.com.google.common.base.Preconditions.checkArgument(Preconditions.java:383)
    at org.apache.beam.sdk.extensions.gcp.storage.GcsPathValidator.verifyPath(GcsPathValidator.java:77)
    at org.apache.beam.sdk.extensions.gcp.storage.GcsPathValidator.validateOutputFilePrefixSupported(GcsPathValidator.java:60)
    at org.apache.beam.runners.dataflow.DataflowRunner.fromOptions(DataflowRunner.java:246)
    ... 9 more

有人認為該錯誤是由於Java版本引起的，因為Beam不能在Java 9上正常工作。無論如何，我仍在使用Java8。另一方面，其他人則說該錯誤是原因是您必須在存儲桶下提供一個子文件夾作為存儲位置。 我已經嘗試過，但仍然無法正常工作。

如果有人以前曾遇到過同樣的問題，或者可以提供有關該錯誤的任何建議，我們將不勝感激。

Answer 1

在使用管道之前，您應該在Google Cloud Storage中創建存儲桶gs://mysite-ga-datastreaming-196008-my-bucket/ 。

Answer 2

嗨，Mangu的建議是正確的。 您僅需要為雲存儲登台位置分配文件夾而不是存儲桶名稱。

有關所有詳細信息，請參閱我的帖子： 鏈接