简体繁体 English

Spark Structured Streaming 应用程序中的多个 S3 凭据

[英]Multiple S3 credentials in a Spark Structured Streaming application

原文 2022-02-04 09:38:39 6 1 apache-spark/ amazon-s3/ spark-structured-streaming/ ceph

I want to migrate our Delta lake from S3 to Parquet files in our own on-prem Ceph storage, both accessible through the S3-compliant s3a API in Spark.我想将我们的 Delta lake 从 S3 迁移到我们自己的本地 Ceph 存储中的 Parquet 文件，这两个文件都可以通过 Spark 中符合 S3 的 s3a API 访问。 Is there a possibility to provide different credentials for readStream and writeStream to achieve this?是否有可能为readStream和writeStream提供不同的凭证来实现这一点？

1 个解决方案

the s3a connector supports per-bucket configuration, so you can declare a different set of secrets, endpoint etc for your internal buckets from your external ones. s3a 连接器支持按存储桶配置，因此您可以为内部存储桶和外部存储桶声明一组不同的机密、端点等。

consult the hadoop s3a docs for the normative details and examples有关规范性详细信息和示例，请参阅 hadoop s3a 文档

Spark Structured Streaming - stderr 被填满 - Spark Structured Streaming - stderr getting filled up

AWS CLI 使用多个凭据同步 S3 存储桶 - AWS CLI syncing S3 buckets with multiple credentials

如何使用本地 JAR 文件运行 Spark 结构化流 - How to run Spark structured streaming using local JAR files

Scala schema_of_json function 在 spark 结构化流中失败 - Scala schema_of_json function fails in spark structured streaming

Spark I/O 与 S3 - Spark i/o with S3

使用存储在 s3 中的凭据初始化 firebase - initializing firebase with credentials stored in s3

如何访问 Spark Streaming 应用程序的统计端点？ - How to access statistics endpoint for a Spark Streaming application?

使用 Golang 从 S3 流式传输 HLS 视频 - Streaming HLS Video from S3 with Golang

在 Spark 上禁用分段上传到 S3 - Disable Multipart Upload to S3 On Spark

Spark s3 写入（s3 与 s3a 连接器） - Spark s3 write (s3 vs s3a connectors)

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 Spark Structured Streaming - stderr 被填满 - Spark Structured Streaming - stderr getting filled up AWS CLI 使用多个凭据同步 S3 存储桶 - AWS CLI syncing S3 buckets with multiple credentials 如何使用本地 JAR 文件运行 Spark 结构化流 - How to run Spark structured streaming using local JAR files Scala schema_of_json function 在 spark 结构化流中失败 - Scala schema_of_json function fails in spark structured streaming Spark I/O 与 S3 - Spark i/o with S3 使用存储在 s3 中的凭据初始化 firebase - initializing firebase with credentials stored in s3 如何访问 Spark Streaming 应用程序的统计端点？ - How to access statistics endpoint for a Spark Streaming application? 使用 Golang 从 S3 流式传输 HLS 视频 - Streaming HLS Video from S3 with Golang 在 Spark 上禁用分段上传到 S3 - Disable Multipart Upload to S3 On Spark Spark s3 写入（s3 与 s3a 连接器） - Spark s3 write (s3 vs s3a connectors)

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM