必填：org.apache.spark.sql.Row

Question

我在尝试将spark数据帧的列之一从十六进制字符串转换为double时遇到问题。 我有以下代码：

import spark.implicits._
case class MsgRow(block_number: Long, to: String, from: String, value: Double )

def hex2int (hex: String): Double = (new BigInteger(hex.substring(2),16)).doubleValue

txs = txs.map(row=> 
        MsgRow(row.getLong(0), row.getString(1), row.getString(2), hex2int(row.getString(3)))
)

我无法共享我的txs数据框的内容，但这是元数据：

>txs
org.apache.spark.sql.DataFrame = [blockNumber: bigint, to: string ... 4 more fields]

但是当我运行这个我得到错误：

错误：类型不匹配； 找到：需要的MsgRow：org.apache.spark.sql.Row MsgRow（row.getLong（0），row.getString（1），row.getString（2），hex2int（row.getString（3）））^

我不明白-为什么spark / scala期望有行对象？ 我见过的所有示例都没有涉及到对行的显式转换，实际上，大多数示例都涉及到一个匿名函数，该函数返回一个case类对象，如上所述。 出于某种原因，谷歌搜索“必填：org.apache.spark.sql.Row”仅返回五个结果，这些都不符合我的情况。 这就是为什么我将标题设置得如此具体，原因是假阳性的可能性很小。 提前致谢！

Answer 1

您的错误是因为您将输出存储到相同的变量，并且txs在返回MsgRow期望Row 。 所以改变

txs = txs.map(row=> 
        MsgRow(row.getLong(0), row.getString(1), row.getString(2), hex2int(row.getString(3)))
)

至

val newTxs = txs.map(row=>
  MsgRow(row.getLong(0), row.getString(1), row.getString(2), (new BigInteger(row.getString(3).substring(2),16)).doubleValue)
)

应该解决您的问题。

我已将hex2int函数排除在外，因为它给出了序列化错误。

Answer 2

感谢@Ramesh指出我代码中的错误。 他的解决方案有效，尽管它也没有提到与我的OP更直接相关的问题，即从map返回的结果不是数据框而是数据集。 除了创建新变量，我要做的就是更改

txs = txs.map(row=> 
    MsgRow(row.getLong(0), row.getString(1), row.getString(2), hex2int(row.getString(3)))
)

至

txs = txs.map(row=> 
    MsgRow(row.getLong(0), row.getString(1), row.getString(2), hex2int(row.getString(3)))
).toDF

对于包含我的标题的大多数错误，这可能是一个简单的答案。 虽然@Ramesh的答案摆脱了该错误，但是当我尝试将此结果连接到另一个数据框时，我遇到了另一个错误，后来又引发了同一个基本问题。