![](/img/trans.png)
[英]Automating Snowpipe for Microsoft Azure Blob Storage - error: Queue not found for channel
[英]Databricks: Azure Queue Storage structured streaming key not found error
我正在嘗試為 AQS 流數據編寫 ETL 管道。 這是我的代碼
CONN_STR = dbutils.secrets.get(scope="kvscope", key = "AZURE-STORAGE-CONN-STR")
schema = StructType([
StructField("id", IntegerType()),
StructField("parkingId", IntegerType()),
StructField("capacity", IntegerType()),
StructField("freePlaces", IntegerType()),
StructField("insertTime", TimestampType())
])
stream = spark.readStream \
.format("abs-aqs") \
.option("fileFormat", "json") \
.option("queueName", "freeparkingplaces") \
.option("connectionString", CONN_STR) \
.schema(schema) \
.load()
display(stream)
當我運行它時,我得到java.util.NoSuchElementException: key not found: eventType
這是我的隊列的樣子
你能發現並解釋一下問題是什么嗎?
abs-aqs
連接器不是用於使用 AQS 中的數據,而是用於使用報告給 AQS 的事件獲取有關 blob 存儲中新文件的數據。 這就是您指定文件格式選項和架構的原因 - 但這些參數將應用於文件,而不是 AQS 中的消息。
據我所知(我可能是錯的),AQS 沒有 Spark 連接器,通常建議使用 EventHubs 或 Kafka 作為消息傳遞解決方案。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.