如何在pyspark中创建数据集

[英]How to create dataset in pyspark

我想在 pyspark 中使用数据集。我读到 pyspark 不支持数据集，只有 Java / Scala 支持数据集。 有什么办法可以使用 pyspark 中的数据集吗？ ...

Akka - 为什么带有退避监督的隐藏消息会丢失？

[英]Akka - Why are stashed messages with backoff supervision lost?

问题我似乎正在观察这样一种情况，即使用 Akka 退避监督策略，在重启期间为类型化监督参与者隐藏的消息丢失。 这是预期的行为吗？ 如果没有，我如何实施以确保保留这些隐藏的消息？ 设置我创建了一个带有 stash 的类型监督演员 它处理导致RuntimeException的ForceFail命令，这 ...

Flink 1.15.2升级：java.lang.NoClassDefFoundError: org/apache/flink/table/api/bridge/scala/StreamTableEnvironment$

[英]Flink 1.15.2 Upgrade: java.lang.NoClassDefFoundError: org/apache/flink/table/api/bridge/scala/StreamTableEnvironment$

升级到 Flink 1.15.2 时，我有以下依赖项。 我的项目是Maven建的。 我正在尝试运行将表 API 转换为 DataStream 的 Flink 应用程序。 在我的应用程序的主要方法的顶部，我试图创建一个 StreamTableEnvironment，它将用于进行转换。 然而，该应用程 ...

初始数据度量是 Map[String, Any]，Any 中的一种数据类型是 WrappedArray(map(),map())。 如何从 map 获取值

[英]The initial data metrics is Map[String, Any], and one of the data types in Any is WrappedArray(map(),map()). How do I get a value from map

我有一些指标数据，如下所示，它是 Map[String, Any]，我想从 Map 获取数据，例如，我想从指标数据中获取 non_unique -> 1。 Map(applicationId -> local-1673262860096, job_name -> dist_batc ...

如何访问 Tapir/ZIOHttp DefaultServerLog 中的请求负载？

[英]How to get access to the request payload in Tapir/ZIOHttp DefaultServerLog?

我们用 Scala 3、ZIO 2、ZIO logging 和 Tapir 构建了一个 REST 微服务。 对于特定于上下文的日志记录，我们希望使用 MDC 并在那里设置一个从请求负载中获取的属性。 是否可以访问 DefaultServerLog 中的请求有效负载以提取 MDC 属性，然后将其用于 ...

从 Scala 3 宏中提供类型参数 [T] 的等价物

[英]Providing the equivalent of a type parameter [T] from inside a Scala 3 macro

嗯，我是一个非常天真的 Scala 3 元程序员。 提前致歉。 我正在尝试规范化类型名称。 在_.dealias.simplified.show上调用TypeRepr可以很好地处理基本类型，但不会触及类型参数。 所以，我想遍历类型参数并递归地调用我的规范器。 经过反复试验并阅读了Adam Warsk ...

这个实例在我的例子中只创建了一次吗？

[英]Is this instance created only once in my example?

我有以下代码。 在另一个 class 中，我尝试将S3ClientClass2 object 创建为val s3 = new S3ClientClass2() 。 创建 s3 之后，然后为每个请求调用readFromS3方法。 在这种情况下，我想知道amazonS3Client是只创建一次还是为每 ...

Scala：在保留占位符 position 的同时对列表进行排序

[英]Scala: Sorting a list while keeping the position of placeholders

我面临的问题是对 Scala 中的 Double 值列表进行排序，其中还包含某种占位符值（在下面的示例中为 Double.NaN。但是，这些可以根据排序工作的需要进行设置。），这应该保留排序后的 position。 输入： Output： 如何在不更改占位符值的 position 的情况下对列表中 ...

Select 测试在 sbt 中使用正则表达式运行

[英]Select test to run with regular expression in sbt

我在 SBT（集成测试）中有一个模块，测试阶段很长。 所有测试运行约 20 分钟。 我想 select 测试使用正则表达式.*\\.[AC].*Spec运行。 结果我想要 4 个较短的并行作业（在 CI 服务器上）而不是 1 个长的。： .*\\.[AD].* .*\\.[EH].* .*\\.[I ...

Spark dataframe 按 ID 加入聚合

[英]Spark dataframe join aggregating by ID

我在加入按 ID 分组的 2 个数据帧时遇到问题val df1 = Seq( (1, 1,100), (1, 3,20), (2, 5,5), (2, 2,10)).toDF("id", "index","value") val df2 = Seq( ( ...

定义 Scala 时类型参数的可疑阴影 3 类型 Class

[英]Suspicious Shadowing by a Type Parameter while defining Scala 3 Type Class

我正在尝试围绕 XML 解析器实现一些小的生活质量改进，基本上是试图模仿 Circe 在 Scala 中解析 Json 的方式。然后我的想法是沿着这些线提出一个类型 class 定义type ParseResult[T] = ??? trait XMLCodec[T]: extension( ...

Akka 流未完全消费的问题

[英]Problems with Incompletely Consumed Akka Streams

我们有一项服务使用 Alpakka 3.0.4 (Scala 2.13) 到 stream 来自 S3 的多个大文件，zip 它们，并将压缩的 stream 作为 HTTP 响应发送出去。 这个想法是甚至在压缩完成之前就开始发送，甚至在文件全部到达之前就开始压缩等等——所有这些都在背压方面进行了仔细 ...

在 Scala3 中，如果将泛型类型参数映射到依赖类型，协变和逆变修饰符如何映射？

[英]In Scala3, if generic type argument(s) is mapped to dependent type, how are covariant & contravariant modifiers mapped?

在本文中，解释了 Scala 3 代码中的每个泛型类型参数都被视为依赖类型以符合 DOT 逻辑： https://dotty.epfl.ch/docs/internals/higher-kinded-v2.html 即： 二元性核心思想：一个参数化的class如 class 地图[K, V] 被 ...

获取 Scala 中 2 个瞬间之间所有瞬间的列表

[英]Get list of all instants between 2 instants in Scala

我想获得今天和（今天 - 15）天之间所有瞬间的列表。 我知道如果 scala，我可能需要你使用 LazyList，但我不太熟悉语法，因为我是新手。 相当于 java 似乎是 这在 Scala 中的等价物是什么？ ...

Scala map 与 function 调用结果引用 function 而不是结果

[英]Scala map with function call results in references to the function instead of results

我有一个要获取数据的键列表。 通过对每个键的 function 调用获取数据。 我想以 Map 的密钥 -> 数据结束。 这是我尝试过的： 这会导致类型不匹配错误： 为什么它将结果 Map 中的值设置为 getData() function 的实例，而不是其结果？ 我如何让它实际为每个键调用 ...

Scala.js - 将 Uint8Array 转换为 Array[Byte]

[英]Scala.js - Convert Uint8Array to Array[Byte]

如何在Scala.js中实现以下方法？ ...

我应该关闭 S3Object 吗？

[英]Should I close an S3Object?

它将因我的意图而关闭。 ...

如何根据spark中的行数据添加新列

[英]How to add new columns based on row data in spark

我有一个如下所示的数据框。 我需要为每一行转换Col_C josn 数据，并将此转换后的数据列和值再次添加到行，output 将如下所示。 我有转换逻辑，它为我提供了Col_C json 数据的键值对，但我如何才能再次将这个新列添加到行中。 由于列名是动态的（不是固定模式），我不能使用withCol ...

将列的数据类型从 STRING 格式更改为 DATE 格式

[英]Change data type of column from STRING format to DATE format

我正在从 ADLS 位置读取一个文件，在该列Period_Ending_Date的数据类型为 STRING。 Period_Ending_Date 有许多随机顺序的日期，我需要应用过滤器来获取最新日期。 我正在尝试这段代码： select * 来自 final_table WHERE Perio ...

通过循环附加 dataframe

[英]Appending the dataframe via loop

我创建了一个空的 dataframe var c= emptyDataFrame 另外，我有 200 多个列的数据集，下面是我的循环代码 t.show 给我一个包含 3 列的表格：col a: x, col b: ID_count, col c: Percentage 我想把 append 的结 ...