标签[scala] - 堆栈内存溢出

[英]Multiple formats in Date Time column in Spark

我正在使用 Spark3.0.1 我有以下数据 csv： 348702330256514,37495066290,9084849,33946,614677375609919,11-02-2018 0:00:00,GENUINE 348702330256514,37495066290,330148, ...

将 map 的列表转换为 dataframe

[英]Transform list of map to dataframe

我有以下数据：我想将其转换为 dataframe，如下所示：我尝试了以下内容：但我得到： ...

什么时候使用 scala.concurrent.blocking？

[英]When to use scala.concurrent.blocking?

我在问自己这个问题：“你什么时候应该使用scala.concurrent.blocking ？” 如果我理解正确的话， blocking {}只有与 ForkJoinPool 一起使用才有意义。此外docs.scala-lang.org强调，阻塞不应该用于长时间运行的执行：最后但并非最不重要的 ...

检查spark中Dataframes中的匹配数据

[英]Check matching data in Dataframes in spark

如果按照我的方式生成的两个 RDD 包含相同的数据（包括行数），我该如何匹配？我正在使用 scala 测试来运行测试并使用 scala 2.12.12 启动版本 3 在创建我的两个 rdd 模式的代码下方，包括预期的一个和创建所有 3 个 rdd 数据。 assertData function ...

如何更改现有 dataframe 的模式

[英]How to change the schema of existing dataframe

问题陈述：我有一个 csv 文件，其中包含大约 100 多个字段。我需要对这些字段执行转换并生成新的 80 多个字段，并仅将这些新字段以 parquet 格式写入 s3。 parquet 预定义架构 = 80+ 新填充的字段 + 一些未填充的字段。有什么方法可以在将数据写入 s3 时传递此预定义 ...

如何使用Apache spark实现GraphSAGE？

[英]How to use Apache spark to implement GraphSAGE?

我想用scala和spark来实现Graph算法GraphSAGE，那怎么办呢？有没有源代码？我想获取我的问题的代码 ...

在 scala 中对 dataframe 中的对象数组进行分组和聚合的最佳方法是什么

[英]What's the best way to group and aggregate an array of objects in a dataframe in scala

一个例子： _4 是我要分组和求和的计数、日期和标签的集合我希望得到的 output 是这样的，它按对象中的前 3 列和第三个元素（标签）分组，同时对第一个元素（计数）求和。 dataframe 的架构如下所示 ...

Gatling - Scala（如何解决“无法将 class java.lang.String 类型的属性‘cursorID’转换为 class scala.Option？）

[英]Gatling - Scala (How to solve "Can't cast attribute ' cursorID' of type class java.lang.String into class scala.Option?)

Gatling - Scala（如何解决“无法将 class java.lang.String 类型的属性‘cursorID’转换为 class scala.Option？）我正在执行基于 cursor 的分页脚本 - 循环数百万数据，但我在.check(jsonPath("$.nextCur ...

如何从两个元组序列构建一个 Scala 元组序列？

[英]How to build a Scala sequence of tuples from two sequences of tuples?

我有两个元组序列：我需要通过元组比较 Long 参数的值来获得一个新序列。比较准则是：如果seqB的seqB严格大于seqA的integer则只保留seqB的seqB 。比较算法必须执行以下任务：对于"0" ， 123严格大于50所以我们保留123 。另一方面，对于值"1" ， 10小于 ...

更好的 monadic 无法去除元组的糖分

[英]better monadic for fails to desugar tuples

我正在尝试将更好的 monadic for合并到一个项目中，因为它是可爱的元组脱糖，目前似乎没有用。我有：在我的plugins.sbt中添加了插件： addCompilerPlugin("com.olegpy" %% "better-monadic-for" % "0.3.1") 。我已经将我 ...

将查询结果存储在变量中时如何避免 Scala 中的 NullPointerException

[英]How to avoid NullPointerException in Scala while storing query result in variable

这是需要更改的代码：当我们运行一个作业时，'activityDate' 可能会返回 null 作为查询结果，因为数据库中可能没有任何数据。在这种情况下，我们得到 NullPointerException。我需要更新此代码以避免 NPE。我尝试以不同的方式来做，但总是缺少 smth。我应该 ...

Scala 中特征的依赖类型约束（？）

[英]Dependent type constraints (?) on trait in Scala

我有以下 model：有什么方法可以在类型级别强制请求/响应对匹配在一起吗？因此，如果SayHelloRequest的响应类型为SayHelloResponse ，则SayHelloResponse的请求类型必须为SayHelloRequest 。就像是： ...

在 Scala 中绑定通配符类型参数

[英]Bind wildcard type argument in Scala

在 Scala 2 中，您当然可以使用通配符或存在类型作为类型 arguments。但是，这意味着您并不总是有想要使用的类型的名称。这有时会导致奇怪的情况，您需要依靠类型推断来规避显式编写类型。这是我的意思的一个有点人为的例子：case class Container[T](value: T) ...

Scala 访问case class属性的反射问题

[英]Scala Reflection issue on accessing case class attributes

我已经能够使用带有反射的 scala 获得案例 class 的属性列表。然而， .equals不起作用，但没有给出错误 -> 所以我遗漏了一些东西，我无法用谷歌搜索它。必须是基本的东西。 .replace不起作用，怎么会是 go？我怎样才能得到一个正常的列表进行处理？我注意到一个Li ...

如何将复杂的嵌套 JSON 结构翻译成 Spark 中的多列 DataFrame

[英]How to translate a complex nested JSON structure into multiple columns in a Spark DataFrame

我正在学习 Scala，并试图从一个大的嵌套 json 文件中过滤 select 几列，以生成 DataFrame。这是 json 的要点：因此，数据看起来像这样，用 spark 读入。而不是这个，我想要一个 DataFrame 的列：名称 | 聚会 | 党团会议。我搞砸了 explode( ...

（字符串插值）如何使用 session 中的值作为键将值保存到 session？

[英](String interpolation) How to save value to the session using the value from the session as key?

我有以下代码可以发出简单的 POST 请求。它应该如何工作？在发出请求之前，我生成了一个测试值"orderName1"并将其保存到 session。接下来，我使用 function "create"来发出请求并在 function 中使用生成的值。它工作正常。我的请求成功了，因此，我有一个动 ...

C++ 相当于 scala 的 Seq.grouped？

[英]C++ equivalent of scala's Seq.grouped?

我想在 C++ 中使用 Scala 的.grouped的惯用（std::algorithm 或类似）版本。这会将序列分成大小为N的组，其中最后一组可能更小。有任何想法吗？参考： https://www.scala-lang.org/api/current/scala/collection/Se ...

Scala中的函数式编程：Output文本文件中出现次数最多的单词（或单词列表）？

[英]Functional programming in Scala: Output the word (or list of words) that occurs the most times in the text file?

Output 在文本文件中出现次数最多的单词（或单词列表）（不考虑大小写——即“单词”和“单词”为此目的被视为相同）。我们只对包含字母字符 [AZ az] 的单词感兴趣，因此忽略任何数字（数字）、标点符号等。如果有几个词出现频率最高，那么所有这些词都应该打印成一个列表。在单词旁边，您应该 ...

Class 伴侣 object 与案例 class 本身

[英]Class companion object vs. case class itself

我读了这个声明：通过使用 User.getClass，您指的是 class 伴侣 object，默认情况下 Scala 为案例 class 创建，而不是案例 class 本身。要获得案例 class 的 class object，请使用 classOf[User]。使用同伴object的cla ...

获取指向另一个案例 Class 的案例 Class 定义

[英]Getting Case Class definition which points to another Case Class

我正在寻找案例 class 的定义。从 SO 中，我根据案例 class 中的 Get field names list收集了这种做法，Dia Kharrat 使用反射的答案。一些实验，其中我有一个案例 class 引用另一个案例 class，嵌套。我们能否以某种方式轻松扩展元数据？回报： ...