具有动态类型/结构列的 Spark 数据集

[英]Spark Dataset with dynamically typed/struct column

我有一个带有已知列的火花数据集，因此可以将其“转换”为案例 class 的数据集。 例如case class Record(id: string, occurredAt: Long, jsonBody: String) 我知道创建一个新列，它是已解析的 json 正文，它是基于给定模式动态键入的。 ...

如何在 scala 中编写 CurrentYear 和 PreviousYear 的函数？

[英]How to write functions for CurrentYear and PreviousYear in scala?

我有这种情况，我正在获取 CurrentDate。 除此之外，我还想从 CurrentYear 和 PreviousYear 获取数据def getCurrentDate: String = { val cal = Calendar.getInstance() cal.add(Calend ...

Scala IO 等待 map 外部呼叫

[英]Scala IO wait during map external call

我将开始提到我是 Scala 的新手，但我现在必须维护遗留代码，其中一些新功能正在尝试包含在内。 我有以下代码： 列表作为参数出现，需要处理新的 output。 但是，似乎代码在处理时并未等待对外部服务的响应。 我怎样才能调用 jackpotIntegratorService.findJackpot ...

过滤器中的 Spark NullPointerException 嵌套字段访问

[英]Spark NullPointerException nested field access in filter

我是火花的新手。 我今天在.filter(_.getStatusStandardizedData.getIsActive.getValue)行得到了NullpointerExceptionval activeStzOrganizations: Dataset[OrganizationStandard ...

如何批处理 spark dataframe 的列，使用 REST API 处理并将其添加回去？

[英]How to batch columns of spark dataframe, process with REST API and add it back?

我在 spark 中有一个 dataframe，我需要使用 REST API 处理该 dataframe 中的特定列。API 对字符串进行一些转换并返回结果字符串。 API 一次可以处理多个字符串。 我可以遍历 dataframe 的列，批量收集该列的 n 个值并调用 api 然后将其添加回 d ...

使用 saveAsTable 创建的表与使用 spark.sql("CREATE TABLE....) 创建的表的行为不同

[英]Table created with saveAsTable behaves differently than a table created with spark.sql("CREATE TABLE....)

我定期运行的进程将数据写入镶木地板文件上的表，配置为"spark.sql.sources.partitionOverwriteMode" = "dynamic" ，代码如下： 如果该表不存在并且是在第一个子句中创建的，它可以正常工作，并且在下一次运行时表确实存在并且 else 子句运行时它按预期工作 ...

根据 Scala '入门' 官方说明安装 Coursier 时出现“找不到‘GLIBC_2.32’和‘GLIBC_2.34’”的问题

[英]Issues with "`GLIBC_2.32' and `GLIBC_2.34' not found" when Installing Coursier as per Scala 'getting Started' Official Instructions

我想做什么： 根据https://docs.scala-lang.org/getting-started/index.html，我想开始使用 Scala 。 我得到的错误： 操作系统、Java 和 LDD 操作系统（与 Windows 双启动）： Ubuntu 20.04.5 LTS ldd -- ...

提取结构失败：构建状态：错误 - spark scala

[英]Extracting structure failed: Build status: Error - spark scala

安装了 intellij 社区版 2022.3.1。 尝试编译一个简单的 scala spark 程序并出现“提取结构失败：构建状态：错误”错误。 下面是我的build.sbt 非常感谢任何帮助。 ...

Slick Futures 转换为 Promises

[英]Slick Futures converted into Promises

我开始在 Scala 开发，所以我从一个非常简单的 RESTful API 开始，使用 AKKA HTTP 演员，然后想添加一个 PostgreSQL 数据库来“关闭”项目。 问题是在项目的某个地方，db.run 方法返回的 Future 被转换为 Promise 并返回错误。 当我运行 Main ...

在 Scala cats-laws 中，为什么函子组合法与规范定义不同？

[英]In Scala cats-laws, why is the functor composition law different from canonical definition?

cats-laws 中的（协变）函子定义如下所示： 但如果我将仿函数组合规则翻译成 Scala，它应该是： 他们为什么不同？ 哪个版本是正确的？ 更新 1我知道 Haskell 中有类似的实现，但我还没有机会阅读它。 不知Haskell版本是不是更靠书。 ...

Scala spark dataframe map 按键排序

[英]Scala spark dataframe map sorting as per key

此代码在 spark >3 中运行良好。 我想运行 spark<3。 ...

从源代码构建 scala

[英]building scala from source

我试图弄清楚如何从源代码存档构建 scala。 我看到一个 build.sbt 文件，但如果我没有安装 scala，那么如何构建 scala？ 我还看到一个 Gemfile，暗示有 Ruby 个绑定。 我检查了 README.md 但遗憾的是那里没有任何信息。 我不知道该怎么做才能开始建设。 ...

scala3 中的类型投影仍然不健全吗？

[英]Are type-projection still unsound in scala3?

Scala3 放弃了通用类型投影，因为它不可靠： 可以编译在运行时失败的代码。 （编辑问题以反映评论） 考虑以下 scala3 代码： scastie 代码编译，但在运行时失败，“B 类无法转换为 class C”。 编译器将C#X和B#X擦除视为A#X ，因此case cx:C#X分支匹配。 ...

如何从 FQDN 获取短名称

[英]How to get the shortName from an FQDN

我正在努力从FQDN获取shortName 。 FQDN 的主要问题是它可以出现在各种 forms 中，例如： 我正在使用Java或Scala来完成这个，有什么想法吗？ 提前致谢！ ...

播放框架 json 在数组中查找

[英]play framework json lookup inside array

我有简单的 json： 正如您在这个 json 中看到的那样，有 placesVisited 字段，如果名称是“纽约”，则“数据”字段是一个列表，如果名称是“巴黎”，则它是一个 object。 我想要做的是拉出 placesVisited object where "name": "New York ...

如何在spark中获取两个最接近的值 scala DataFrame

[英]How to get the two nearest values in spark scala DataFrame

大家好我是 Spark scala 的新手。我想使用 spark scala 通过分区找到最接近的值。我的输入是这样的： 例如第一行：值 1 在 value2 列中介于 2 和 7 之间 我的 output 应该是这样的： 有人可以指导我如何解决这个问题。 ...

如何在数据框列中读取 JSON

[英]How to read JSON in data frame column

我正在阅读 HDFS 目录val schema = spark.read.schema(schema).json("/HDFS path").schema val df= spark.read.schema(schema).json ("/HDFS path") 这里仅从 JSON 文件中选择 ...

在 object 上执行匿名 function

[英]Perform anonymous function on an object

这可能非常简单，但我正在尝试在列表 object（不是列表的元素）上执行匿名 function。 例如，是否可以将以下内容写成一行？val a = List(1,2,3) val b = a :+ a.last 我只是想让一些代码更简洁/避免无意义的 val 名称我曾尝试搜索在线文档，但在不知道 ...

过滤字符串，删除所有与同一索引中的另一个字符串具有相同元素的元素

[英]Filter the string removing all elements which have the same element as in another string in the same index

正如标题所说，我想实现一个 function 池，它在删除给定字符串的所有元素后返回一个字符列表，这些元素是与另一个字符串在同一索引中的相同字母。 由于我为获取给定索引中的元素而编写的代码，它给了我一个 StringIndexOutOfBoundsExceptions。 我该如何解决这个问题？ 我的 ...

Scala sbt 测试：切换到 Java 后“未找到键‘akka’的配置设置”11

[英]Scala sbt tests: "No configuration setting found for key 'akka'" after switching to Java 11

切换到 Java 11 后，sbt 测试开始失败，出现异常“未找到键‘akka’的配置设置”。 我们在项目上使用 sbt 程序集插件，但由于测试不是在 jar 内部运行，而是使用 sbt <module_name>/test，看起来构建测试资源/路径存在一些问题。 我做的事情清单： 为 ...