火花 Scala 數據幀 select

Question

我正在嘗試將 pyspark 代碼轉換為火花 Scala 並且我面臨以下錯誤：

pyspark碼

import pyspark.sql.functions as fn
valid_data = bcd_df.filter(fn.lower(bdb_df.table_name)==tbl_nme)
.select("valid_data").rdd
.map(lambda x: x[0])
.collect()[0]

從bcd_df dataframe 我得到一個帶有table_name的列，並將table_name的值與我傳遞的參數tbl_name匹配，然后選擇 valid_data 列數據。

這是火花 scala 中的代碼。

val valid_data =bcd_df..filter(col(table_name)===tbl_nme).select(col("valid_data")).rdd.map(x=> x(0)).collect()(0)

錯誤如下：

Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve '`abcd`' given input 
columns:
Not sure why it is taking abcd as column.

任何幫助表示贊賞。

版本scala2.11.8 spark2.3

Answer 1

在col中用quotes(")將table_name列括起來

val valid_data =bcd_df.filter(col("table_name")===tbl_nme).select(col("valid_data")).rdd.map(x=> x(0)).collect()(0)