在普通 PySpark 安装中，方案“gs”Google Storage Connector 没有文件系统
[英]No FileSystem for scheme "gs" Google Storage Connector in plain PySpark installation
我已经看过几个类似的问题 - here ， here和其他一些博客文章和 Stack overflow 问题。 我有以下 PySpark 脚本并希望从 GCS 存储桶中读取数据 失败并出现错误 - 我的环境设置Dockerfile如下所示： 没有 HADOOP_HOME、SPARK_HOME、PYS ...
Graphx Scala 顶点总是返回我 0
[英]Graphx Scala Vertices alwayses return me 0
我正在尝试实现这个 Graphx 示例： 它在$numVertices上总是返回 0 似乎没有什么不对劲 PS：在我的示例中，我希望结果为 6 ...
将两个arrays转换为特殊分隔符分隔的字符串
[英]Convert two arrays into string separated by a special delimiter
我有一个 Spark DataFrame，如下所示： 我想通过连接type列中的数组和name列中的数组来添加一个额外的列，但用分号(;)分隔符分隔它们。 预计 output： 我尝试应用concat_ws function，但我得到的结果与我预期的不同。 那么，是否有可能使用PySpark ？ ...
如何使用 Apache Spark 将具有两位数日期的字符串转换为正确的日期？
[英]How would I convert a string with a two digit date to the correct date with Apache Spark?
如果您在 Spark SQL 中运行任何类型的查询，它会将日期转换为未来日期。 基本上，任何你在逻辑上认为基于过去的东西都会被转换成未来的日期。 例如，如果您执行如下简单语句： select to_date('1/1/94', 'm/d/yy') 您将获得： 2094-01-01 除了后处理（从未 ...
如何将pivot或pyspark中的ArrayType格式的数据进行转换？
[英]How to pivot or transform data in ArrayType format in pyspark?
我有以下格式的数据： 我希望将其转换为以下 ArrayType。 如何在pyspark中写一个泛型代码来做这个转换并保存为csv格式？ ...
如何运行从kafka获取数据并将其转换为dataframe的pyspark代码？
[英]How to run a pyspark code that gets data from kafka and converts it to dataframe?
我正在尝试将 kafka 主题放入 spark dataframe 中，因此代码如下： 我正在尝试使用 spark-submit 执行代码： spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.3.1 dev_e ...
无法在 Databricks 上读取和写入 xmal 文件
[英]unable to read and write xmal file on Databricks
<pre> %python spark.conf.set("fs.azure.account.key.XXXXXX.dfs.core.windows.net","XXXXXXXXXXXXX") df = spark.read \.format("com.databricks.spark ...
如何使用 java 从数据集中写入 xls 和 xlsx 文件（Excel 文件）？
[英]How can I write xls and xlsx file (Excel file) from Dataset in spark with java?
我想使用 java 将 Spark 数据集编写为 xls 和 xlsx (MS Excel) 文件。 所以， 如何将数据写入 excel 中的 spark 工作表？ 我尝试生成 xls 和 xlsx 文件，但报告仅由 csv 个文件生成 ...
为什么我得到 NoClassDefFoundError: org/apache/hadoop/fs/statistics/IOStatisticsSource
[英]Why I am getting NoClassDefFoundError: org/apache/hadoop/fs/statistics/IOStatisticsSource
我正在尝试使用 .NET spark(3.0.1) 和 hadoop (3.2.2) 从 Azure Data Lake gen2（存储帐户）获取数据。 我正在按照Microsoft 教程进行操作，但出现以下错误： java.lang.ClassNotFoundException：Class o ...
如何在 PySpark DataFrame 的列中查找另一个 DataFrame 中不存在的值？
[英]How to find values in a column of a PySpark DataFrame that don't exist in another DataFrame?
我有两个 PySpark DataFrame，都有一个名为“Country”的列。 一个 DataFrame 是参考，我想将第二个 DataFrame 中的国家名称与参考 DataFrame 进行比较以找出差异。 我想要的 output 是参考 DataFrame 中不存在的第二个 DataFra ...
使用 Delta (spark) 的插入模式不匹配
[英]Schema mismatch on insert using Delta (spark)
我已经开始在 EMR 6.9 上尝试使用 Delta，并且我正在尝试执行一些基本操作以确保适用性。 当我使用 Spark Sql 创建表然后插入数据时出现错误： 这是非常简单的代码： 我已经尝试在插入中提供字段名称，因为这看起来是问题所在，例如： 但是会产生同样的错误。 对 delta-lake n ...
在pyspark中查找区间arrays中的值
[英]Find the value in intervals arrays in pyspark
我有以下 df： 遵循架构： 我有另一个 df (df2)： 如果字段“cep”包含在字段“cep_ori”的任何间隔（初始、最终）中，我需要进行内部连接。 所以，我需要的 df_final： 我试过了： 但是，没有用。 有人能帮我吗？ ...
迭代加入数据帧时 pyspark 中出现歧义列错误
[英]Ambiguous columns error in pyspark while iteratively joining dataframes
我目前正在编写代码，根据每次迭代中对应于两个数据帧的一组列，多次迭代地加入（左）两个数据帧。 对于一次迭代，它工作正常，但在第二次迭代中，我收到了不明确的列错误。 这是我正在处理的样本 dataframe 我为此使用的代码是 如果我为单次运行执行此代码但在第二次迭代中再次加入列“firstname” ...
AnalysisException：尝试用 select() 替换 withColumn() 时出现模糊引用错误
[英]AnalysisException: ambiguous reference error when trying to replace withColumn() with select()
当我多次使用 withColumn() 更新 Pyspark 中列的值时，出现 StackOverflowException 错误。 我得到 StackOverflowException 的代码是： Spark 文档建议使用 select() function。所以我尝试了： 但是我收到一个错误， ...
无法使用 Apache Spark 在 AWS Glue 中读取 json 个文件
[英]Unable to read json files in AWS Glue using Apache Spark
赏金将在 6 天后到期。 此问题的答案有资格获得+50声望赏金。 RudyVerboven想让更多人关注这个问题： 我真的坚持这个并且完全没有选择。 对于我们的用例，我们需要从 S3 存储桶加载 json 个文件。 作为处理工具，我们使用 AWS Glue。 但是因为我们很快就会迁移到 Amaz ...
pyspark中的Colregex方法
[英]Colregex method in pyspark
我想了解 colRegex 如何在colRegex中工作colRegex如何在Col1和Col2之间进行选择。 在上面的表达式中，我使用了"(Col3)?+.+" 。 它给了我Col1和Col2 。 你能详细说明正则表达式中发生了什么吗？ ...
胶水无法识别 Delta Lake Python 库
[英]Glue not able to recognize Delta Lake Python Library
我正在尝试在我的 Glue 作业中使用 Delta Lake Python 库。 但是，我的 Glue 作业无法识别它，并且出现错误“NameError：name 'DeltaTable' is not defined”。 根据 Glue-DeltaLake 文档，我添加了参数 --datalake ...
在 Azure Databricks 上将 kafka 值二进制负载转换为字符串
[英]Converting a kafka value binary payload to string on Azure Databricks
我正在从 Azure Databricks 上的 Azure ADLS Gen2 存储帐户读取 Kafka json 文件。 我似乎无法将值二进制有效负载转换为字符串，以便我可以执行 from_json 转换。 我尝试了各种类型的转换，在所有情况下，原始二进制值都显示在我的最终转换中。 我试过... ...
当我们有 S3 时，为什么我们在 EMR 上需要 HDFS
[英]Why do we need HDFS on EMR when we have S3
在我们这里，我们使用 AWS 服务来满足我们所有的数据基础设施和服务需求。 我们的 hive 表是外部表，实际数据文件存储在 S3 中。 我们使用 Apache Spark 进行数据摄取和转换。 我们有 EMR 永远运行的集群，有 1 个主节点（始终运行）和 1 个核心节点（始终运行），每当数据处 ...
为什么在 Spark 3 中查找分区列的聚合需要很长时间？
[英]Why would finding an aggregate of a partition column in Spark 3 take very long time?
我正在尝试在 Spark2 和 Spark3 中使用以下查询查询按dt列分区的表中的MIN(dt) ： SELECT MIN(dt) FROM table_name 该表以 parquet 格式存储在 S3 中，其中每个dt都是一个单独的文件夹，因此这似乎是一个非常简单的操作。 大约有 3,200 ...