简体繁体 English

使用Scala Spark将EDI格式转换为CSV？

[英]Convert EDI format to csv using scala spark?

原文 2018-03-12 09:18:45 4 2 scala/ apache-spark

如何使用spark或scala将EDI格式文件转换为CSV文件？

2 个解决方案

You can use a tool like this to create a mapping from EDI format to CSV and then generate a code in that tool. 您可以使用一个工具，像这样来创建EDI格式CSV映射，然后生成在该工具中的代码。 This code then can be used to convert EDI to CSV in Spark. 然后，可以使用此代码在Spark中将EDI转换为CSV。

For open source solutions, I think your best bet is EDI Reader from BerryWorks . 对于开源解决方案，我认为最好的选择是BerryWorks的EDI Reader 。 Haven't tried it myself, but apparently this is what Hortonworks recommends , and I'd trust their judgement in the Big Data area. 我自己还没有尝试过，但是显然这是Hortonworks建议的，我相信他们在大数据领域的判断。 I'm not involved with either, for the matters of disclosure. 就披露而言，我也不参与。

From there, it's still a matter of converting EDI XML representation to CSV. 从那里开始，仍然需要将EDI XML表示转换为CSV。 Given that XML processing is not part of vanilla Spark, again, your options are rather limited here. 同样，由于XML处理不属于Vanilla Spark的一部分，因此，此处的选择相当有限。 Try Databricks spark-xml maybe? 试试Databricks spark-xml吗？

使用Spark Scala将Array [Byte]转换为JSON格式 - Convert Array[Byte] to JSON format using Spark Scala

在Spark scala中创建列的格式化csv文件 - Format csv file with column creation in Spark scala

将CSV转换为JSON以在Scala Spark中配对RDD - Convert CSV to JSON to Pair RDD in Scala Spark

将CSV转换为RDD并使用Spark / Scala读取 - Convert CSV to RDD and read with Spark/Scala

Spark -Scala - 将 CSV 文件转换为自定义对象 - Spark -Scala - Convert CSV file to custom object

使用Scala在Spark中将数组转换为自定义字符串格式 - Convert an array to custom string format in Spark with Scala

将 Spark dataframe 转换为 scala 字典格式 - convert Spark dataframe to scala dictionary like format

将日期转换为另一种格式 Scala Spark - Convert date to another format Scala Spark

Scala Spark将日期转换为特定格式 - Scala Spark convert date to a specific format

将Spark Scala数据集转换为特定的RDD格式 - Convert spark scala dataset to specific RDD format

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 使用Spark Scala将Array [Byte]转换为JSON格式 - Convert Array[Byte] to JSON format using Spark Scala 在Spark scala中创建列的格式化csv文件 - Format csv file with column creation in Spark scala 将CSV转换为JSON以在Scala Spark中配对RDD - Convert CSV to JSON to Pair RDD in Scala Spark 将CSV转换为RDD并使用Spark / Scala读取 - Convert CSV to RDD and read with Spark/Scala Spark -Scala - 将 CSV 文件转换为自定义对象 - Spark -Scala - Convert CSV file to custom object 使用Scala在Spark中将数组转换为自定义字符串格式 - Convert an array to custom string format in Spark with Scala 将 Spark dataframe 转换为 scala 字典格式 - convert Spark dataframe to scala dictionary like format 将日期转换为另一种格式 Scala Spark - Convert date to another format Scala Spark Scala Spark将日期转换为特定格式 - Scala Spark convert date to a specific format 将Spark Scala数据集转换为特定的RDD格式 - Convert spark scala dataset to specific RDD format

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM