![](/img/trans.png)
[英]Apache Beam With GCP Dataflow throws INVALID_ARGUMENT
[英]gcp dataflow templates, ERROR: (gcloud.beta.dataflow.jobs.run) INVALID_ARGUMENT: There is no support for job type with environment version
完全錯誤
錯誤:(gcloud.beta.dataflow.jobs.run)INVALID_ARGUMENT:(4361fe83f99d0cfe):環境版本不支持作業類型。 請嘗試將 SDK 升級到最新版本。 您可以在https://cloud.google.com/dataflow/docs/guides/installing-beam-sdk找到有關安裝最新 SDK 的說明。 如果這不起作用,請通過https://cloud.google.com/dataflow/support聯系 Cloud Dataflow 團隊尋求幫助。
暫存命令
mvn compile exec:java -Dexec.mainClass=com.jobs.wordcount.TextToPubsub -Dexec.args="--runner=DataflowRunner \
--project=my_project \
--stagingLocation=gs://bucket_name/tmp/staging \
--templateLocation=gs://dataflow-templates/latest/Stream_GCS_Text_to_Cloud_PubSub_metadata"
運行命令
gcloud dataflow jobs run template_test \
--gcs-location gs://dataflow-templates/latest/Stream_GCS_Text_to_Cloud_PubSub_metadata \
--staging-location=gs:/my_bucket/tmp/staging \
--parameters \
inputFilePattern=gs://bucket_nam/input/*.json,\
outputTopic=projects/my_project/topics/testTopic
pom.xml
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>word_count_cicd_test</groupId>
<artifactId>word_count_cicd_test</artifactId>
<version>1.0-SNAPSHOT</version>
<properties>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
</properties>
<dependencies>
<dependency>
<groupId>org.apache.beam</groupId>
<artifactId>beam-sdks-java-core</artifactId>
<version>[2.20.0, 2.99)</version>
</dependency>
<dependency>
<groupId>org.apache.beam</groupId>
<artifactId>beam-sdks-java-io-google-cloud-platform</artifactId>
<version>2.20.0</version>
</dependency>
<dependency>
<groupId>org.apache.beam</groupId>
<artifactId>beam-runners-google-cloud-dataflow-java</artifactId>
<version>[2.20.0, 2.99)</version>
</dependency>
</dependencies>
java代碼和元數據模板由google提供
gcloud版本
bash-3.2$ gcloud version
Google Cloud SDK 278.0.0
beta 2019.05.17
bq 2.0.52
core 2020.01.24
gsutil 4.47
在控制台中啟動時出現相同的錯誤。 我認為這可能與此功能處於測試階段有關。
gs://dataflow-templates/latest/Stream_GCS_Text_to_Cloud_PubSub_metadata 不是有效的模板。 它是模板的元數據文件 gs://dataflow-templates/latest/Stream_GCS_Text_to_Cloud_PubSub。
如果要運行 Google 提供的模板版本,可以在 gcloud 命令中設置--gcs_location=gs://dataflow-templates/latest/Stream_GCS_Text_to_Cloud_PubSub
。
如果要創建自己的模板,則必須在暫存命令的 templateLocation 中使用自己的 GCS 存儲桶。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.