繁体 English 中英

Spark Structured Streaming 应用程序中的多个 S3 凭据

[英]Multiple S3 credentials in a Spark Structured Streaming application

原文 2022-02-04 09:38:39 1 1 apache-spark/ amazon-s3/ spark-structured-streaming/ ceph

我想将我们的 Delta lake 从 S3 迁移到我们自己的本地 Ceph 存储中的 Parquet 文件，这两个文件都可以通过 Spark 中符合 S3 的 s3a API 访问。 是否有可能为readStream和writeStream提供不同的凭证来实现这一点？

1 个解决方案

s3a 连接器支持按存储桶配置，因此您可以为内部存储桶和外部存储桶声明一组不同的机密、端点等。

有关规范性详细信息和示例，请参阅 hadoop s3a 文档

Spark Structured Streaming - stderr 被填满

[英]Spark Structured Streaming - stderr getting filled up

AWS CLI 使用多个凭据同步 S3 存储桶

[英]AWS CLI syncing S3 buckets with multiple credentials

如何使用本地 JAR 文件运行 Spark 结构化流

[英]How to run Spark structured streaming using local JAR files

Scala schema_of_json function 在 spark 结构化流中失败

[英]Scala schema_of_json function fails in spark structured streaming

Spark I/O 与 S3

[英]Spark i/o with S3

使用存储在 s3 中的凭据初始化 firebase

[英]initializing firebase with credentials stored in s3

如何访问 Spark Streaming 应用程序的统计端点？

[英]How to access statistics endpoint for a Spark Streaming application?

使用 Golang 从 S3 流式传输 HLS 视频

[英]Streaming HLS Video from S3 with Golang

在 Spark 上禁用分段上传到 S3

[英]Disable Multipart Upload to S3 On Spark

Spark s3 写入（s3 与 s3a 连接器）

[英]Spark s3 write (s3 vs s3a connectors)

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 Spark Structured Streaming - stderr 被填满 AWS CLI 使用多个凭据同步 S3 存储桶如何使用本地 JAR 文件运行 Spark 结构化流 Scala schema_of_json function 在 spark 结构化流中失败 Spark I/O 与 S3 使用存储在 s3 中的凭据初始化 firebase 如何访问 Spark Streaming 应用程序的统计端点？使用 Golang 从 S3 流式传输 HLS 视频在 Spark 上禁用分段上传到 S3 Spark s3 写入（s3 与 s3a 连接器）

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM