簡體   English   中英

在Eclipse上使用Dataflow Runner的Apache Beam MinimalWordcount示例

[英]Apache Beam MinimalWordcount example with Dataflow Runner on eclipse

我正在嘗試使用來自Eclipse的DataFlowRunner在Windows上使用MinimalWordCount運行MinimalWordCount示例 - >在eclipse中運行為Java應用程序,它使用我的gcs存儲桶的示例中的相同股票代碼,但是我一直得到以下異常,有人可以告訴我這里的問題嗎?

  1. 我已經驗證了存儲桶名稱是否正確。
  2. 我已經在我的Windows機器上運行了gcloud init。

線程“main”中的異常java.lang.RuntimeException:無法在org.apache.beam.sdk.util.InstanceBuilder.buildFromMethod中從工廠方法DataflowRunner#fromOptions(interface org.apache.beam.sdk.options.PipelineOptions)構造實例(InstanceBuilder.java:233)org.apache.beam.sdk.util.InstanceBuilder.build(InstanceBuilder.java:162)org.apache.beam.sdk.runners.PipelineRunner.fromOptions(PipelineRunner.java:56)at at org.apache.beam.sdk.Pipeline.create(Pipeline.java:135)at com.dynaobject.apachebeamexperiment.MinimalWordCount.main(MinimalWordCount.java:77)引起:sun.reflect的java.lang.reflect.InvocationTargetException。位於org.apache的java.lang.reflect.Method.invoke(未知來源)的sun.reflect.DelegatingMethodAccessorImpl.invoke(未知來源)的sun.reflect.NativeMethodAccessorImpl.invoke(未知來源)的NativeMethodAccessorImpl.invoke0(本地方法)。 beam.sdk.util.InstanceBuilder.buildFromMethod(InstanceBuilder.java:222)... 4更多引起:java.lang.IllegalA rgumentException:DataflowRunner需要gcpTempLocation,但無法從org.apache.beam.runners.dataflow.DataflowRunner.fromOptions(DataflowRunner.java:212)中的PipelineOptions檢索值... 9更多原因:java.lang.IllegalArgumentException: Error構造gcpTempLocation的默認值:tempLocation不是有效的GCS路徑,gs:// tempxyz。 org.apache.beam.sdk.options.GcpOptions $ GcpTempLocationFactory.create(GcpOptions.java:219)org.apache.beam.sdk.options.GcpOptions $ GcpTempLocationFactory.create(GcpOptions.java:205)at org.apache位於org.apache.beam.sdk.options.ProxyInvocationHandler的org.apache.beam.sdk.options.ProxyInvocationHandler.getDefault(ProxyInvocationHandler.java:516)中的.beam.sdk.options.ProxyInvocationHandler.returnDefaultHelper(ProxyInvocationHandler.java:575) .invoke(ProxyInvocationHandler.java:155)位於com.sun.proxy。$ Proxy15.getGcpTempLocation(未知來源)org.apache.beam.runners.dataflow.DataflowRunner.fromOptions(DataflowRunner.java:210)... 9更多引發者:java.lang.IllegalArgumentException:輸出路徑不存在或不可寫:gs:// tempxyz at org.apache.beam.sdk.repackaged.com.google.common.base.Preconditions.checkArgument(Preconditions.java) :191)位於org.apache.beam.sdk.util.GcsPathValidator的org.apache.beam.sdk.util.GcsPathValidator.verifyPathIsAccessible(GcsPathValidator.java:78) .validateOutputFilePrefixSupported(GcsPathValidator.java:62)at org.apache.beam.sdk.options.GcpOptions $ GcpTempLocationFactory.create(GcpOptions.java:217)... 15更多

在文檔中的某處提到我需要運行以下內容。

gcloud auth application-default login

顯然這個例外無助於弄清楚這一點,我希望它可以幫助別人。

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM