在 ScalaTest 中对集合元素使用 HavePropertyMatcher？

[英]Using a HavePropertyMatcher for collection elements in ScalaTest?

我已经使用 ScalaTest 的 FeatureSpec 几天了，我试图了解是否可以使用内置匹配器定义以下规范（如果不能，我如何编写合适的自定义匹配器）。 假设我有 class 本书： 在我的测试中，我有一份书籍清单： 现在，我想指定书籍列表应该包含一本标题为“Moby Dick”的书。 我想写 ...

Scalatest：如何检查集合是否包含满足特定条件的元素

[英]Scalatest: how to check if a collection contains element that satisfies certain criteria

假设我有一个书单： 如果collection books不为空且只包含2014年出版的书籍，如何用单个表达式检查？ ...

解释一下 Scala 中 Y 组合器的实现？

[英]Explain this implementation of the Y combinator in Scala?

这是 Scala 中 Y 组合子的实现： Q1：结果120是怎么出来的，一步一步来？ 因为Y(func)定义为func(Y(func)) ，所以Y应该越来越多，Y哪里丢了， 120是怎么在peform过程中出来的？ Q2：有什么区别 和 它们在 scala REPL 中是同一类型，但第二个不能 ...

标记阅读器的自定义 pickler

[英]Custom pickler for a tagged reader

我正在使用 uPickle 1.2.0。 我有这个示例代码：import upickle._ import upickle.default._ import upickle.implicits.key sealed trait Field @key("TypeA") case class Ty ...

Scala 或带单位

[英]Scala Either with Unit

我很好奇这样做的正确方法。 假设我想从一个方法中发出成功或失败的信号。 这是可以接受的吗，如果除了成功之外我什么都不想说？ 成功地从此方法返回 Right() 的正确方法是什么？ 显然只是返回 Right() 给出弃用警告（通过插入 () 调整参数列表已被弃用）。 我也可能会做 Option[Thr ...

通过 Scala Anorm（在 Play Framework 中）将数据插入 PostgreSQL jsonb 列

[英]Inserting data to a PostgreSQL jsonb column via Scala Anorm (in Play Framework)

PostgreSQL 表my_table的data列格式为jsonb 。 我想插入一个 Scala JsObject （或JsValue ），但不知道该怎么做！ 以下代码无法编译，因为on期望json为String ： 解决办法是什么？ ...

如何修复 hdfs append 异常：已经是当前的租约持有人

[英]How to fix hdfs append excepiton:already the current lease holder

我从 kafka 中提取数据，并将 append 数据提取到 HDFS。但是当 append 数据时出现异常消息。 这是异常消息 这是我的代码，我使用 writeLines 方法将 append 数据写入 HDFS。 请帮帮我！谢谢~ ...

使用 Json4s 将空字符串解析为 None

[英]Parse empty string as None with Json4s

我知道 Json4s 自己处理Option s 并且大多数时候这很好用 - 对于Option[T]它将None序列化为缺失值并将缺失值读取为None否则自动为T使用正确的序列化器/反序列化器。 我的问题是我有一个数据库，其中空字符串被用作缺失值，所以我想将它们读取为None 。 一个简单的例子：c ...

什么时候使用 scala.concurrent.blocking？

[英]When to use scala.concurrent.blocking?

我在问自己这个问题：“你什么时候应该使用scala.concurrent.blocking ？” 如果我理解正确的话， blocking {}只有与 ForkJoinPool 一起使用才有意义。 此外docs.scala-lang.org强调，阻塞不应该用于长时间运行的执行： 最后但并非最不重要的 ...

Gatling - Scala（如何解决“无法将 class java.lang.String 类型的属性‘cursorID’转换为 class scala.Option？）

[英]Gatling - Scala (How to solve "Can't cast attribute ' cursorID' of type class java.lang.String into class scala.Option?)

Gatling - Scala（如何解决“无法将 class java.lang.String 类型的属性‘cursorID’转换为 class scala.Option？） 我正在执行基于 cursor 的分页脚本 - 循环数百万数据，但我在.check(jsonPath("$.nextCur ...

检查spark中Dataframes中的匹配数据

[英]Check matching data in Dataframes in spark

如果按照我的方式生成的两个 RDD 包含相同的数据（包括行数），我该如何匹配？ 我正在使用 scala 测试来运行测试并使用 scala 2.12.12 启动版本 3 在创建我的两个 rdd 模式的代码下方，包括预期的一个和创建所有 3 个 rdd 数据。 assertData function ...

Flink 1.15.2升级：java.lang.NoClassDefFoundError: org/apache/flink/table/api/bridge/scala/StreamTableEnvironment$

[英]Flink 1.15.2 Upgrade: java.lang.NoClassDefFoundError: org/apache/flink/table/api/bridge/scala/StreamTableEnvironment$

升级到 Flink 1.15.2 时，我有以下依赖项。 我的项目是Maven建的。 我正在尝试运行将表 API 转换为 DataStream 的 Flink 应用程序。 在我的应用程序的主要方法的顶部，我试图创建一个 StreamTableEnvironment，它将用于进行转换。 然而，该应用程 ...

如何更改现有 dataframe 的模式

[英]How to change the schema of existing dataframe

问题陈述：我有一个 csv 文件，其中包含大约 100 多个字段。我需要对这些字段执行转换并生成新的 80 多个字段，并仅将这些新字段以 parquet 格式写入 s3。 parquet 预定义架构 = 80+ 新填充的字段 + 一些未填充的字段。 有什么方法可以在将数据写入 s3 时传递此预定义 ...

如何将嵌套的 json 列解析为名为键和值的两列

[英]How to Parse nested json column to two columns called key and value

我有一个包含 3 列的源表。 其中一列包含 json 个值。 有些行包含简单的 json 但有些行包含嵌套的 json 就像在图像的源表中一样。 我希望目标表看起来像附加的图像。 有人可以帮助使用 pyspark 代码或 sql 代码将其放入数据块吗？ 这个 json 没有固定的模式。 它可以以不同 ...

Spark 日期时间列中的多种格式

[英]Multiple formats in Date Time column in Spark

我正在使用 Spark3.0.1 我有以下数据 csv： 348702330256514,37495066290,9084849,33946,614677375609919,11-02-2018 0:00:00,GENUINE 348702330256514,37495066290,330148, ...

如何在 scala 中使用插值将双引号插入字符串

[英]How to insert double quotes into String with interpolation in scala

遇到麻烦 escaping 我的所有报价 function （它的基本用法 -> 如果我找到一个字符串，什么也不做，如果它不是一个字符串，则在开头和结尾添加 "） 代码片段： 唯一有用的是： 案例 _ => s"""\"$值\"""" 有更好的语法吗？ 它看起来很糟糕，IDE (Int ...

在Spark窗口中，如何填充null何时选择的行小于window尺寸？

[英]In Spark windowing, how do you fill null for when the number of rows selected are less than window size?

假设有一个 dataframe 如下： 我想像这样产生一个最终的 dataframe 基本上我必须做一个大小为 2 的 window，但对于第一行，我们不想将其加起来为零。 它只会填充 null。 ...

为什么我不能从内部的 Either 投影中提取元组以使用模式匹配进行理解？

[英]why can't I extract a tuple from Either projection inside for comprehension using pattern matching?

为什么这样做：val somePair: Option[(String,String)] = Some(("John", "Doe")) (for { pair <- somePair.toRight("Hello unknown!").right } yield s"Hello ${p ...

将 map 的列表转换为 dataframe

[英]Transform list of map to dataframe

我有以下数据： 我想将其转换为 dataframe，如下所示： 我尝试了以下内容： 但我得到： ...

获取指向另一个案例 Class 的案例 Class 定义

[英]Getting Case Class definition which points to another Case Class

我正在寻找案例 class 的定义。 从 SO 中，我根据案例 class 中的 Get field names list收集了这种做法，Dia Kharrat 使用反射的答案。 一些实验，其中我有一个案例 class 引用另一个案例 class，嵌套。 我们能否以某种方式轻松扩展元数据？ 回报： ...