如何在Apache Flink中使用Scala XML？
[英]How to use Scala XML with Apache Flink?
问题描述
我试图在Flink中使用Scala XML库来解析XML，但我无法使其工作。 请注意，我需要在相同的处理函数中对我的代码使用序列化和非序列化（字符串）版本。
我尝试过不同的解决方案，它们总是在IntelliJ中工作，但是当我在Flink集群上运行时却没有。 它们总是返回不同的java.lang.LinkageError: com/sun/org/apache/xerces/internal/jaxp/SAXParserImpl$JAXPSAXParser ; 我尝试了很多东西，但我仍然得到类似于这个的错误。
这是我的Flink Job的样子：
object StreamingJob {
import org.apache.flink.streaming.api.scala._
val l = List(
"""<ciao>ciao</ciao>""",
)
def main(args: Array[String]): Unit = {
val env = StreamExecutionEnvironment.getExecutionEnvironment
// set up kafka section excluded
env.setParallelism(10)
val stream = env.fromCollection(l)
stream
.uid("process")
.map(new Processor)
.print
env.execute("Flink-TEST")
}
}
这是我的处理功能的一个例子：
import javax.xml.parsers.{SAXParser, SAXParserFactory}
import org.apache.flink.api.common.functions.MapFunction
import scala.xml.{Elem, XML}
import scala.xml.factory.XMLLoader
class Processor extends MapFunction[String, String] {
override def map(translatedMessage: String): String = {
val xml = Processor.xmlLoader.loadString(translatedMessage)
xml.toString
}
}
object Processor {
val factory: SAXParserFactory = SAXParserFactory.newInstance
val SAXParser: SAXParser = factory.newSAXParser
val xmlLoader: XMLLoader[Elem] = XML.withSAXParser(SAXParser)
}
最后这是我的pom.xml，使用maven-shade插件制作我传递给flink的jar：
<!-- other sections of the pom are excluded -->
<properties>
<flink.version>1.7.0</flink.version>
<scala.binary.version>2.12</scala.binary.version>
<scala.version>2.12.8</scala.version>
</properties>
<!-- other sections of the pom are excluded -->
<dependencies>
<!-- Apache Flink dependencies -->
<!-- These dependencies are provided, because they should not be packaged into the JAR file. -->
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-scala_${scala.binary.version}</artifactId>
<version>${flink.version}</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-scala_${scala.binary.version}</artifactId>
<version>${flink.version}</version>
<scope>provided</scope>
</dependency>
<!-- Scala Library, provided by Flink as well. -->
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-library</artifactId>
<version>${scala.version}</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>com.fasterxml.jackson.dataformat</groupId>
<artifactId>jackson-dataformat-xml</artifactId>
<version>2.9.4</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-connector-kafka_2.12</artifactId>
<version>1.7.0</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-core</artifactId>
<version>2.11.1</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-slf4j-impl</artifactId>
<version>2.11.1</version>
</dependency>
<dependency>
<groupId>com.fasterxml.jackson.core</groupId>
<artifactId>jackson-databind</artifactId>
<version>2.4.0</version>
</dependency>
<dependency>
<groupId>com.fasterxml.jackson.dataformat</groupId>
<artifactId>jackson-dataformat-yaml</artifactId>
<version>2.4.0</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-api-scala_2.12</artifactId>
<version>11.0</version>
</dependency>
<dependency>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
<version>1.2.17</version>
</dependency>
<dependency>
<groupId>org.scala-lang.modules</groupId>
<artifactId>scala-xml_2.12</artifactId>
<version>1.1.1</version>
</dependency>
</dependencies>
<!-- other sections of the pom are excluded -->
<build>
<plugins>
<!-- We use the maven-shade plugin to create a fat jar that contains all necessary dependencies. -->
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<version>3.0.0</version>
<executions>
<!-- Run shade goal on package phase -->
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<artifactSet>
<excludes>
<exclude>org.apache.flink:force-shading</exclude>
<exclude>com.google.code.findbugs:jsr305</exclude>
<exclude>org.slf4j:*</exclude>
<exclude>log4j:*</exclude>
</excludes>
</artifactSet>
<filters>
<filter>
<!-- Do not copy the signatures in the META-INF folder.
Otherwise, this might cause SecurityExceptions when using the JAR. -->
<artifact>*:*</artifact>
<excludes>
<exclude>META-INF/*.SF</exclude>
<exclude>META-INF/*.DSA</exclude>
<exclude>META-INF/*.RSA</exclude>
</excludes>
</filter>
</filters>
<transformers>
<transformer
implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
<mainClass>com.mycompany.myproj.artifactId.default.StreamingJob</mainClass>
</transformer>
<transformer
implementation="org.apache.maven.plugins.shade.resource.AppendingTransformer">
<resource>reference.conf</resource>
</transformer>
</transformers>
</configuration>
</execution>
</executions>
</plugin>
<!-- Java Compiler -->
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>3.1</version>
<configuration>
<source>1.8</source>
<target>1.8</target>
</configuration>
</plugin>
<!-- Scala Compiler -->
<plugin>
<groupId>net.alchim31.maven</groupId>
<artifactId>scala-maven-plugin</artifactId>
<version>3.2.2</version>
<executions>
<execution>
<goals>
<goal>compile</goal>
<goal>testCompile</goal>
</goals>
</execution>
</executions>
</plugin>
<plugin>
<groupId>org.codehaus.mojo</groupId>
<artifactId>build-helper-maven-plugin</artifactId>
<version>1.7</version>
<executions>
<!-- Add src/main/scala to eclipse build path -->
<execution>
<id>add-source</id>
<phase>generate-sources</phase>
<goals>
<goal>add-source</goal>
</goals>
<configuration>
<sources>
<source>src/main/scala</source>
</sources>
</configuration>
</execution>
<!-- Add src/test/scala to eclipse build path -->
<execution>
<id>add-test-source</id>
<phase>generate-test-sources</phase>
<goals>
<goal>add-test-source</goal>
</goals>
<configuration>
<sources>
<source>src/test/scala</source>
</sources>
</configuration>
</execution>
</executions>
</plugin>
</plugins>
</build>
<!-- other sections of the pom are excluded -->
我相信这个问题在某种程度上与Flink在运行时使用的SAXParser所使用的实现有关。 我也尝试使用@transient注释来防止Flink中的字段持久但没有成功。
但是我对于究竟发生了什么感到很困惑，有谁知道如何防止错误和出了什么问题？
1 个解决方案
解决方案1
0 已采纳 2019-04-03 02:05:04
过了一会儿，我弄清楚它有什么问题。
Scala XML文档说：
在Scala 2.11及更高版本中，将以下内容添加到build.sbt文件的libraryDependencies中：
"org.scala-lang.modules" %% "scala-xml" % "1.1.1"
Maven中的哪个转换为：
<dependency>
<groupId>org.scala-lang.modules</groupId>
<artifactId>scala-xml_2.12</artifactId>
<version>1.1.1</version>
</dependency>
好吧，似乎不需要这种依赖，因为即使Flink 1.7.2似乎使用Scala 2.12.8它仍然在他的发行版中保留Scala XML（因此在类路径中），我相信这会导致实际加载类的问题如果正确的话，那可能不是解决链接错误的方法。
链接错误的解决方案实际上是使用Flink自己的RichMapFunction[InputT, OutputT] ：
class Processor extends RichMapFunction[String, String] {
var factory: SAXParserFactory = _
var SAXParser: SAXParser = _
var xmlLoader: XMLLoader[Elem] = _
override def open(parameters: Configuration): Unit = {
factory = SAXParserFactory.newInstance
SAXParser = factory.newSAXParser
xmlLoader = XML.withSAXParser(SAXParser)
}
override def map(translatedMessage: String): String = {
val xml = xmlLoader.loadString(translatedMessage)
xml.toString
}
}
正如JavaDoc所说：
函数的初始化方法。
or ) and thus suitable for one time setup work. 它在实际工作方法之前调用（如或 ），因此适用于一次性设置工作。 对于作为迭代一部分的函数，将在每次迭代超级步的开始时调用此方法。
不幸的是，在这种情况下优选使用var ，因为值/变量的初始化需要由Flink处理，以防止运行时的链接错误。
一些说明：
- 我意识到这可能只发生在
DataStream[T]而不是DataSet[T]。 - Job需要将并行度设置为大于1才能导致多个任务管理器加载同一个类，如果在IDE中完成它可能会很棘手， 这里已经解释过了 。
- 在注意到此问题的原因后，似乎伴随对象可能不适合Flink使用。
- 最后一部分可能是Flink的“Scala API扩展”页面中的一个很好的注释，它还解释了Flink通常不支持匿名模式匹配函数来解构元组，除非使用Flink Scala API扩展： https： //ci.apache.org/projects/flink/flink-docs-release-1.7/dev/scala_api_extensions.html
如何在 Scala 中的 Apache Flink Datastream 中转换字符串？
[英]How to cast a string in Apache Flink Datastream in Scala?
如何使用Flink 1.7对Scala案例类进行Avro序列化？
[英]How to use Avro serialization for scala case classes with Flink 1.7?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
Apache Flink用的是什么版本的Scala？
如何在 Scala 中的 Apache Flink Datastream 中转换字符串？
如何在Scala中使用Flink的KafkaSource？
如何在scala中使用flink fold函数
2022年Scala如何使用Flink的KafkaSource
如何在Apache Flink中将Scala DataSet传递给Java类
如何为Apache Flink设置Scala IDE？
Apache Flink Kakfa XML流
如何使用Flink 1.7对Scala案例类进行Avro序列化？
Apache Flink Wikipedia使用Scala编辑分析
相关标签