cost 30 ms
RDD上的多个地图

假设我有一个 class: 在一些批量计算期间,我有一个 RDD[DummyClass] 如何在不在此 RDD 上运行多个地图的情况下收集元素。 我的解决方案很慢,因为我必须多次阅读 RDD。 我们谈论的是 4M-5M 记录。 我想补充一点,我有 7 张遵循相同逻辑的地图。 Persist() 和 ...

2022-08-17 15:51:35 0 13
Azure Java/Scala ServiceBus 消费者,重试错误处理

我有简单的服务总线消费者: 及错误处理方法: 它在 scala 中,但代码基于官方教程AzureDocs我找不到方法,在这里创建一些重试策略,如何在这里处理重试以及如果失败 X 重试将失败消息发送到死信队列? 谢谢 ...

2022-08-17 13:35:16 0 15
这是对泛型类型进行排序的正确方法吗?

我只是想写一个使用泛型的冒泡排序代码。 我不确定这是否是为泛型编写排序逻辑的正确方法。 这里的“if”条件给出了编译时错误。 对于任何特定类型,这都可以正常工作。 我该如何解决这个问题并以更好的方式对其进行编程? 提前致谢。 } ...

2022-08-17 10:46:04 1 45
从一系列 when 创建结构数组

这里是非常初级的数据人员,所以如果这是一个愚蠢的人,请提前道歉/我以错误的方式思考它。 在 Databricks 中使用 Scala。 我的目标是评估 dataframe,并为轮班调度系统返回一些数据质量检查。 今天我这样做: 返回: 但是,我想返回一个结构数组,因为这些检查将变得更加复杂,并且工程 ...

2022-08-17 09:44:09 1 23
将转换应用于 Spark 上具有相同数据类型的所有列

在编写 CSV 之前,我需要对我的数据框的所有 Integer 列进行转换。 转换包括将类型更改为字符串,然后将格式转换为欧洲格式(例如 1234567 ->“1234567”->“1.234.567”)。 Spark 有什么方法可以将此转换应用于所有 Integer 列? 我希望它是 ...

2022-08-17 09:04:52 1 31
广义类型约束和这个

我正在尝试向仅适用于某些类型的通用 class 添加方法,并且我了解通用类型约束是实现此目的的一种方法。 但是当需要传递实例本身( this )时,我正在努力使用它,如下所示:case class Sum(x: Value[Int], y: Value[Int]) { def apply(): ...

2022-08-17 06:46:05 1 33
将 jar 文件发布到 GitLab package 存储库

我有一个scala项目,使用SBT我能够从中生成一个jar文件。 My next challenge is to to publish the generated jar file into Gitlab's package repository so I can reference this j ...

2022-08-16 21:09:26 1 21
第三方 jar 具有阴影依赖导致 IllegalAccessError

我们的项目是一个基于 spark 的项目,所以我们构建了一个超级 jar。 它依赖于另一个 jar ,它具有第三方库依赖项: 添加这个依赖就是我们的项目如下: 我们也在打包我们的package jar的时候,重新定位这个依赖 在 databricks 中运行 jar 时,失败并出现以下错误: 在我 ...

2022-08-16 11:48:10 0 25
Scala 中没有 arguments 的“隐式 def”有什么用?

看到了这段代码,不知道怎么用。 我了解到implicit def用于隐式转换,它带有一个参数,以便它可以将其参数转换为另一种类型。 请帮助解释下面隐式的用法,任何示例都很棒。 先感谢您! implicit def eitherWrites[A: Writes, B: Writes] = Writ ...

2022-08-16 09:19:16 2 86
删除 XML 标签之间的前导和尾随空格

我使用标准 scala xml 库。 这是简化的输出:<sitemapindex xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" ...

2022-08-16 08:28:11 1 34
无法使用 Scala / Mill 加载资源文件

我无法使用 Mill (0.10.5) 作为构建工具在 Scala 中加载资源。 最小的例子是: 与build.sc : 和Main.scala : 当mill -i app.run编译时,程序抛出异常: 使用 Mill 访问资源文件的正确方法是什么? ...

2022-08-16 08:27:41 1 22
Sonarqube,获得 scala 项目的零代码覆盖率

我正在扫描 scala 多模块项目。 我得到的模块报告为: 但仍然得到 声纳仪表板上的覆盖率报告为 0% jacoco.exec 和 jacoco.xml 报告也正在生成。 以下是pom的部分: 我错过了什么? 我正在努力获得声纳仪表板上的代码覆盖率。 请帮忙.. ...

2022-08-16 08:19:55 1 17
在宏中查找具有类型参数的直接已知子类

简而言之,我需要一个宏,它可以针对给定的密封特征找到所有子类型。 假设我有以下层次结构:sealed trait T[A] case class C[A]() extends T[A] 现在,在我的宏中,我有WeakTypeTag ,例如T[String] 。 使用.asClass.knownDi ...

2022-08-16 08:02:06 1 15

 
粤ICP备18138465号  © 2020-2022 STACKOOM.COM