使用Spark在Hive表中的数字数据类型中将null设置为值

Question

我正在寻找一种解决方案，其中需要使用Spark在没有值的数字字段中填充null。 我写的代码如下：

val myDF = sqlContext.sql("from mystg.my_acct_table select id,amt,tot_amt where id=12345")
myDF.map(row => {val row1 = row.getAs[Double]("tot_amt")
      val my_tot_amt = {
          if(row1.isNaN())
              null.asInstanceOf[Double]
          else
              Math.abs(row1.toDouble)
        }
    Row(row(0),row(1),my_tot_amt)
   })

我也尝试通过将以上逻辑放入Row（row（0），row（1），my_tot_amt）中来进行尝试。

  Row(row(0),row(1),(if(row1.isNaN())
                    null.asInstanceOf[Double]
                else
                    Math.abs(row1.toDouble)))

但是我得到的输出为| 8687992537618075 | 1163.35 | 0.0 |

预期输出为| 8687992537618075 | 1163.35 | 空|

Answer 1

null.asInstanceOf[Double]为0.0 。 只是不要投下它：

val my_tot_amt = if(row1.isNaN())
  null
else
  Math.abs(row1.toDouble)

应该可以工作（这使my_tot_amt的类型为Any ； val my_tot_amt: java.lang.Double = ...更为精确，但在此特定情况下不必这样做）。

另外，我认为在row("tot_amt")已经为null地方，您会得到0.0 ； 这是故意的吗？