在pyspark中为forframe调用foreach时出现__getattr__错误

Question

我正在尝试解析SQL查询，并想为数据帧的每一行调用一个函数。 功能如下：

def updateParser(df):
# update tab1 set value1 = 0.34 where id = 1111
# identify positions
setPos = df.select(instr(df.query, ' set ').alias('set')).collect()[0].set
wherePos = df.select(instr(df.query, ' where ').alias('where')).collect()[0].where
idPos = df.select(instr(df.query, ' id').alias('id')).collect()[0].id

# identify table, fields&values, id
df = df.withColumn('table', upper(trim(df.query.substr(7, setPos - 7))))
df = df.withColumn('fieldValueList', upper(trim(df.query.substr(setPos + 5, (wherePos - (setPos + 5) + 1)))))
df = df.withColumn('id', upper(trim(df.query.substr(idPos + 5, 10))))
#identify the column being updated and the value
df.show(n=5, truncate = False)

我通过以下方式致电：

updateDF.foreach(updateParser)

但是我收到以下错误：

  File "/home/mapr/scripts/cdc.py", line 19, in updateParser
setPos = df.select(instr(df.query, ' set ').alias('set')).collect()[0].set
  File "/opt/mapr/spark/spark-1.5.2/python/lib/pyspark.zip/pyspark/sql/types.py", line 1257, in __getattr__
raise AttributeError(item)
AttributeError: select

我没有在任何地方使用getattr ..是否需要？ 如果我不使用foreach而是直接在数据帧上运行它，那么它运行良好。 任何人都可以请指教。

Answer 1

我发现了问题-由于我为每一行调用一个数据框，因此无法在每一行上使用df.select。 而是我需要使用Row对象及其方法。 这就是“属性”错误中的原因，“选择”给出了错误，因为它不是有效的操作。