标签[scala]

Scala是主要针对Java虚拟机的通用编程语言。 它旨在以简洁,优雅和类型安全的方式表达常见的编程模式,它融合了命令式和功能性编程风格。 它的主要特征是:具有类型推断功能的高级静态类型系统; 功能类型; 模式匹配; 隐式参数和转换; 操作符重载; 与Java完全互操作性; 并发

0
0回复
07

汇合的架构注册表在通过Spark提交运行时引发未授权异常401

我正在尝试运行spark dstream作业,该作业试图从kafka读取数据并使用融合的avro schema-registry将其反序列化。 我们在创建kafkaUtils.createDirect
0
0回复
05

SBT无法解决依赖性[ResolveException]

我的build.sbt文件中包含以下内容: 其中,当使用IntelliJ并尝试刷新/重新导入项目时,会发生一些问题: 尽管与maven / Gradle合作,依赖关系仍无法解决。 产生以
0
0回复
06

SLF4J的依赖性问题-NoClassDefFoundError:org / apache / log4j / or / RendererMap

我有一个使用sbt 1.2.8构建的Scala应用程序。 当我尝试在Intellij中调试应用程序时,出现错误提示 我的libraryDependencies包含以下两个依赖libraryDepe
1
1回复
25

如何使用Scala的Slick库执行JDBC身份验证?

介绍 我有一个用Akka HTTP编写的微服务,该微服务通过REST API与前端进行通信。 我使用Scala的Slick库与PostgreSQL DBMS通信。 我想使用HTTP的基本身
0
1回复
17

如何在Actor的同一线程内获取http.singleRequest(httpRequest)的Httpresponse?

我有一个Actor在一种case BidRequest消息中使用httpRequest => http.singleRequest(httpRequest).pipeTo(self)发送HTTP
1
1回复
27

使用Scala提供表情符号作为输入时获取Unicode

我是scala和spark的新手。 我正在开发一个大数据项目,我想输入一个表情符号并使用scala和spark获得其unicode。 我尝试查找资源以用作指南,但是我找不到任何资源。 例如- 然
0
1回复
34

如何将此数据集转换为以下数据集

输入 所需的输出 我从动态生成每个计数开始,但是无法将它们存储在数据集中 现在如何将所有值收集到一个数据帧中并转换为输出?
0
2回复
28

收集器Flink。 是什么意思

我正在学习Flink,让我感到困惑的一件事是使用名为Collector的对象的事实。 例如在平面地图功能中。 这个收集器及其方法收集什么? 以及为什么例如map函数不需要通过显式使用它来传递结果?
0
1回复
24

Spark Scala DataFrame Writer InsertInto覆盖

我正在尝试将数据帧的内容写入现有的分区托管Hive表,如下所示: 目标表是ORC,我希望保留该表。 使用saveAsTable会删除该表并将其重新创建为镶木地板(请参见此处: 在不同的SaveMo
0
0回复
31

在Intellij中运行Spark应用程序时出错-NoClassDefFoundError com / google / common / util / concurrent / internal /

我有一个用Scala(2.11.12)编写的Apache Spark 2.0应用程序,它是使用SBT工具1.2.8构建的。 当我尝试在Intellij(2020.3.2 Ultimate)中运行该应用
0
0回复
35

为什么to_date在Databricks中工作,但在Intellij中却行不通?

我的代码是 错误-无法解析重载的方法“ to_date” 相同的代码在Databricks笔记本中正常工作。
0
1回复
31

如何使用Scala删除文件中的特殊字符?

我有一个文本文件,我想从每行的开头和结尾删除特殊字符“ [“,”]“。 如何从所有文件中删除“ [”和“]”?
0
0回复
05

使用Spark(scala)在结构化流中使用数据块从Azure EventHubs进行Protbuff解码

我只需要使用Data Brick到Data Lake来解码来自Azure Event Hub的Protbuff消息?我曾尝试过使用ScalaPB并使用过带有Maven的ScalaIDE,但无法完全解码
0
1回复
23

Flink使用AvroDeserializationSchema读取Avro主题

我正在尝试使用案例类在Scala中阅读avro kafka主题: 在flink-scala-shell中运行代码时遇到此错误: 如何在Scala中使用AvroDeserializationSc
-1
1回复
24

如何将Spark Scala映射字段合并到BQ? [复制]

这个问题已经在这里有了答案: 如何在大查询中为地图字段设置架构?
1
1回复
30

使用RegexTokenizer Scala对每个单词仅包含字母的句子进行标记

我在scala中使用spark并尝试标记一个句子,其中每个单词只能包含字母。 这是我的代码 如果我在标记化后以“我要上学5”的身份提供服务,那么它应该只有[i,am,go,to,to]并且应该放弃
0
0回复
11

如何在Scala的Azure Databricks中为笔记本执行自定义日志记录?

我试图使用下面的代码片段在DBFS的tmp文件夹中创建一个自定义日志文件。 但是它既不创建日志文件也不执行之后的简单log.info-var fileAppender = new FileAppend
0
2回复
40

如何在大查询中为地图字段设置架构?

我有以下数据框作为输出: 我想使用以下命令将此结果传递给spark中的输出表,但不起作用。 (似乎与“地图”字段的架构有关)
0
1回复
26

Scala Spark中组合三个不同的数据框

我正在尝试将三个不同的数据帧与一个联接结合在一起,但是结果却不是我所期望的。 数据帧为: 我的代码是: 在这段代码之后,我期望的是将三个数据帧组合到一个唯一的数据帧中,其中该列是单个数据帧,但
0
0回复
16

将表从Azure Databricks迁移到数据仓库(Azure Synapse)

我正在将表从Azure Databricks迁移到数据仓库(Azure Synapse)中的表。 集群具有以下配置:spark:3.0.1 scala:2.12 迁移的代码为Scala,如下所示:

1 2 3 4 5 6 7 8 9 10 下一页