簡體 English 中英

Spark Structured Streaming 應用程序中的多個 S3 憑據

[英]Multiple S3 credentials in a Spark Structured Streaming application

原文 2022-02-04 09:38:39 4 1 apache-spark/ amazon-s3/ spark-structured-streaming/ ceph

我想將我們的 Delta lake 從 S3 遷移到我們自己的本地 Ceph 存儲中的 Parquet 文件，這兩個文件都可以通過 Spark 中符合 S3 的 s3a API 訪問。 是否有可能為readStream和writeStream提供不同的憑證來實現這一點？

1 個解決方案

s3a 連接器支持按存儲桶配置，因此您可以為內部存儲桶和外部存儲桶聲明一組不同的機密、端點等。

有關規范性詳細信息和示例，請參閱 hadoop s3a 文檔

Spark Structured Streaming - stderr 被填滿

[英]Spark Structured Streaming - stderr getting filled up

AWS CLI 使用多個憑據同步 S3 存儲桶

[英]AWS CLI syncing S3 buckets with multiple credentials

如何使用本地 JAR 文件運行 Spark 結構化流

[英]How to run Spark structured streaming using local JAR files

Scala schema_of_json function 在 spark 結構化流中失敗

[英]Scala schema_of_json function fails in spark structured streaming

Spark I/O 與 S3

[英]Spark i/o with S3

使用存儲在 s3 中的憑據初始化 firebase

[英]initializing firebase with credentials stored in s3

如何訪問 Spark Streaming 應用程序的統計端點？

[英]How to access statistics endpoint for a Spark Streaming application?

使用 Golang 從 S3 流式傳輸 HLS 視頻

[英]Streaming HLS Video from S3 with Golang

在 Spark 上禁用分段上傳到 S3

[英]Disable Multipart Upload to S3 On Spark

Spark s3 寫入（s3 與 s3a 連接器）

[英]Spark s3 write (s3 vs s3a connectors)

暫無

暫無

聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

相關問題 Spark Structured Streaming - stderr 被填滿 AWS CLI 使用多個憑據同步 S3 存儲桶如何使用本地 JAR 文件運行 Spark 結構化流 Scala schema_of_json function 在 spark 結構化流中失敗 Spark I/O 與 S3 使用存儲在 s3 中的憑據初始化 firebase 如何訪問 Spark Streaming 應用程序的統計端點？使用 Golang 從 S3 流式傳輸 HLS 視頻在 Spark 上禁用分段上傳到 S3 Spark s3 寫入（s3 與 s3a 連接器）

相關標簽

粵ICP備18138465號 © 2020-2024 STACKOOM.COM