标签[scala]

Scala是主要针对Java虚拟机的通用编程语言。 它旨在以简洁,优雅和类型安全的方式表达常见的编程模式,它融合了命令式和功能性编程风格。 它的主要特征是:具有类型推断功能的高级静态类型系统; 功能类型; 模式匹配; 隐式参数和转换; 操作符重载; 与Java完全互操作性; 并发

0
0回复
05

Spark的spark_driver_dagscheduler_messageprocessingtime_type_timers_count指标的增加行为是为了什么?

我们有一个 Spark 作业(见代码): 在执行过程中,作业每 13 秒失败一次,出现 OOM 至于特定的 Spark 指标看起来只会急剧增加: 是否有任何关键可以了解我这里有什么样的泄漏?
0
0回复
04

如何定义要在from_json中使用的json模式来解析值

我正在尝试提出一个模式定义来解析我使用 from_json 的数据帧字符串列中的信息。 我需要帮助来定义模式,但我不知何故做得不对。 这是我拥有的 Json 我想解析这些信息,这将导致列 sectionid , sequence, xid, question.sequence, question.q
0
0回复
13

问题规模和智力

bonsoir j ai un probleme au niveau de intellij cars il veux pas d'ajouter le fichier sbt sachant que j ai installer les mis [在此处输入图像描述][1]ajours 提取结构
0
0回复
07

将具有自定义架构的CSV文件读入Spark数据帧

我正在尝试将 CSV 文件读入 Spark 数据帧。 CSV 文件的内容如下所示。 bookInterested 列中值的数量可以从 1 到 200 不等。 这是我读取文件时遇到的错误。 有关如何解决此问题的任何建议?
0
1回复
25

如果其他条件,scala两个变量

我怎样才能在 Scala 中做得更好? 我不喜欢这个 if else if else 逻辑。 我可以对两个变量使用 switch 语句,或者使用一些更好的 Scala 函数式方法吗?
0
0回复
16

在Akka流中连接两个流

我正在尝试连接两个 Flow,但我无法解释我的实现的输出。 我希望此代码有以下输出。 相反,我只看到打印了“2”。 你能解释一下我的实现有什么问题,我应该如何更改程序以获得所需的输出。
0
0回复
03

DatabricksSparkScalaAWS中的XML解析使用MAVEN-DailyMed的HL7V3文件

从DailyMed 中提取人类处方标签文件- 下载所有药物标签。 这些文件采用的 .xml 格式是 HL7 V3 格式,已证明难以解析请参阅 Databricks 中 AWS 集群中 MAVEN XML 解析的安装说明,尽管我的集群上安装了正确的库。 有人将这些文件类型从 .xml 格式正确解析为
0
0回复
09

努力读取csv文件

我正在努力弄清楚如何在 Scala 中处理 CSV 文件。 我有这个代码,我试图为 csv 读取等实现各种类型的代码,但根本无法实际读取文件。 // 读取文件是我正在尝试/我的late4st attempemt 但我得到一个:object Source is not a member of pac
1
1回复
32

尾递归函数的性能

各种书籍、文章、博客文章表明,将递归函数重写为尾递归函数可以使其更快。 毫无疑问,对于生成斐波那契数或计算阶乘等琐碎情况,它会更快。 在这种情况下,有一种典型的重写方法 - 通过使用“辅助函数”和中间结果的附加参数。 TAIL RECURSION很好地描述了尾递归函数和非尾递归函数之间的区别,以及
0
0回复
07

BehaviorTestKitSpawn不等于Spawn

我在 Akka Typed 中有以下测试 当我运行此测试时,我收到以下错误。 这对我来说没有任何意义。 我只是不知道如何让这个测试工作。 请问有什么提示吗? 提前致谢。
0
0回复
08

akkaHttphttp请求抛出UnexpectedConnectionClosureException:Thehttpserverclosedtheconnection

我正在尝试使用以下流程流式传输请求,我收到带有任何 uri 的响应: 这是我的流程的样子: 此流程因任何 uri 而失败,我做错了什么???
0
0回复
12

AnyContentAsMultipartFormData的Scala可写-播放2.6

我的代码中有这些行 我不得不将我的播放版本从播放 2.5 升级到播放 2.6.6,现在这些线路不起作用。 这就是问题: 我在文档中看到 mdf 是该类的成员,这似乎在 play 2.6.6 中没有改变。 我将不胜感激任何帮助。
0
0回复
08

亚马逊-deequ。ColumnProfiler,将结果的配置文件列表转换为JSON时丢失了字段dataType

尝试序列化列分析的结果时,未显示 dataType 值,而是使用 {}(我使用 json4s 库)。 代码 - 结果 - 没有这个转换,我可以访问这个字段: 代码 - 结果 - 可能是什么问题呢?
0
1回复
22

Scala子字符串并将其存储在DF中

我正在尝试在 Scala 中拆分一个字符串并将其存储在 DF 中以与 Apache Spark 一起使用。 我拥有的字符串如下: 我只想获得以下子字符串: 然后将其存储在 DF 中以显示如下内容: 那么我必须尝试获取所有以 NT 开头并以“,”结尾的字符串,也许使用带有正则表达式的模式,然后将其存储
0
0回复
09

如何访问通过--files在spark驱动程序中提交的文件?

我们正在纱线集群上的火花中运行火花作业。 这些 spark 作业很少在客户端部署模式下运行,而其他在集群部署模式下运行。 我们正在使用 livy 服务器来编排 spark 提交。 作为其中的一部分,我们正在创建一个 livy 服务器会话并提交语句。 创建会话的示例代码curl -XPOST "htt
0
1回复
14

SparkDataframe,使用其他列添加具有功能的新列

在我的 scala 程序中,我有一个包含两列a和b (均为Int类型)的数据框df 。 除了我有一个以前定义的对象obj与一些方法和属性。 在这里,我想使用数据df的当前值和来自obj属性向我的数据框df添加一个新列。 例如,如果我有下面的数据框:+---+---+| a | b |+---+---
0
0回复
09

Scala代码和Spark中使用Python中的pmarima库-时间序列

我想使用 Spark Session 在 Scala 代码中应用自回归 (AR) 模型来对时间序列进行一些预测。 最后,我还将使用移动平均 (MA) 模型。 ARIMA 是一个很好的解决方案吗? Scala 中是否有部署这些模型的可信库? 我还在 Python 中找到了pmarima库,有没有办
1
2回复
45

Scala得到一个子串

我正在尝试在 Scala 中获取一个子字符串。 我拥有的字符串如下: 我只想得到一个子字符串: 编辑:这个子串可以是其他的,例如 ddd_zn1_ldk 那么我必须尝试获取所有以 NT 开头并以“,”结尾的字符串吗? 我从 Scala 开始,因此我对此表示怀疑。 提前致谢!
0
1回复
21

具有未知循环计数的Scala未来

案例是尝试获取评论的子评论列表,通过数据库中的“parentId”字段可以轻松获取所有子评论。 但是,考虑到可能的长列表,最好对 db 查询进行分页。 我们可以像这样获取指定的行: def getChildCommentsByParentId(parentId: Int, offset: Int,
2
0回复
34

Scala2将方法附加到类体(元编程)

我在这个问题上被困了一个星期,似乎没有任何进展。 我试图将一些方法和字段从一个类复制到另一个类。 我有两个阶段参与其中。 第一阶段扫码,找到需要复制的方法defs,保存对应的Tree 第二阶段将这棵树插入到需要去的地方。 为了简化这个问题,让我们忘记复制并说我试图插入一个简单的方法def hello

1 2 3 4 5 6 7 8 9 10 下一页