繁体 English 中英

如何在我的 pyspark 代码中导入和使用 spark-dynamodb

[英]how to import and use spark-dynamodb in my pyspark code

原文 2022-02-06 06:24:35 1 1 pyspark/ amazon-dynamodb

我正在尝试将数据从 json 文件写入 dynamodb。 遇到了spark-dynamodb

我如何在 pyspark 脚本中导入这个 package？

1 个解决方案

您链接 ( GitHub spark-dynamodb ) 的页面显示：

注意：从pyspark shell运行时，可以添加库为：

pyspark --packages com.audienceproject:spark-dynamodb_<spark-scala-version>:<version>

这是否回答你的问题？

如何将 PySpark dataframe 写入 DynamoDB 表？

[英]How to write PySpark dataframe to DynamoDB table?

如何计算 CSV 导入的 DynamoDB RCU？

[英]How to calculate DynamoDB RCUs for a CSV import?

如何将 DynamoDB 与 Project Reactor 一起使用？

[英]How to use DynamoDB with Project Reactor?

导入 DynamoDB 表 - YML

[英]Import DynamoDB Table - YML

如何生成一个短 ID 用作 dynamodb 上的密钥？

[英]how to generate a short id to use as key on dynamodb?

如何使用 Databricks 在 Apache Spark 上编译 PySpark 中的 While 循环语句

[英]How to Compile a While Loop statement in PySpark on Apache Spark with Databricks

如何用值写入 dynamodb terraform 代码表？

[英]how to write to dynamodb terraform code the table with values?

如何使用 Python 在 dynamodb 中使用运算符

[英]how to use in operator in dynamodb using Python

如何在 DynamoDB 分页扫描中使用 StartingToken

[英]How to use StartingToken with DynamoDB pagination scan

Terraform CDKTF：如何在现有的 terraform 项目中使用/导入 CDKTF 代码？

[英]Terraform CDKTF: How to use/import CDKTF code in existing terraform project?

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 如何将 PySpark dataframe 写入 DynamoDB 表？如何计算 CSV 导入的 DynamoDB RCU？如何将 DynamoDB 与 Project Reactor 一起使用？导入 DynamoDB 表 - YML 如何生成一个短 ID 用作 dynamodb 上的密钥？如何使用 Databricks 在 Apache Spark 上编译 PySpark 中的 While 循环语句如何用值写入 dynamodb terraform 代码表？如何使用 Python 在 dynamodb 中使用运算符如何在 DynamoDB 分页扫描中使用 StartingToken Terraform CDKTF：如何在现有的 terraform 项目中使用/导入 CDKTF 代码？

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM