[英]How can I parse a row's column value passed to a UDF when mapping a column?
我有一个像这样的 dataframe，为了简单起见，我只显示 2 列，两列都是string ，但在现实生活中，除了string之外，它还有更多不同类型的列：
| SQL文本 | 表名 |
|---|---|
| select * 来自源表； | 新表 |
| select * 来自 sourceTable1； | 新表1 |
我还有一个自定义 Function，我想在其中迭代 dataframe 并获取sql并运行它来创建一个表，但是我没有单独传递每一列，而是传递整行：
def CreateTables(rowp):
df = spark.sql(rowp.SQLText)
#code to create table using rowp.TableName
这是我的代码，我首先清理SQLText ，因为它存储在另一个表中，然后我在该列上运行 UDF：
l = l.withColumn("SQLText", F.lit(F.regexp_replace(F.col("SQLText").cast("string"), "[\n\r]", " ")))
nt = l.select(l["*"]).withColumn("TableName",CreateTables(F.struct(*list(l.columns)) )).select("TableName","SQLText")
nt.show(truncate=False)
因此，当我运行 function 并尝试运行上面的代码时，它出错了，因为它没有将rowp.SQLText解析为其文字值，而是传递了它的类型？：
Column<'struct(SourceSQL, TableName)[SourceSQL]'>
因此，在CreateTables function 中，当执行spark.sql(rowp.SQLText)时，我预计会出现以下情况：
df = spark.sql("select * from sourceTable;")
但这正在发生，实际上是发送变量类型而不是变量值
df = spark.sql("Column<'struct(SourceSQL, TableName)[SourceSQL]'>")
我尝试了很多解决方案： getItem 、 getField 、 get 、 getAs但还没有成功。
我也试过使用像rowp[0]这样的索引，但它只是改变了传递给spark.sql function 的变量类型：
Column<'struct(SourceSQL, TableName)[0]'>
如果我尝试rowp(0)它会给我一个Column is not callable错误。
有很多方法可以做到这一点。
这是我在 pyspark 3.2.3 中测试的一种方法
rows = df.rdd.collect()
for i in range(len(rows)):
spark.sql(rows[i][0])
问题未解决？试试以下方法：
在第 1 列中运行值循环时如何从第 2 列分配变量（相同的 ROW 值）
[英]How can I assign a variable from column 2 when running a loop of values in column 1 (same ROW value)
我如何通过列值唯一标识 csv 中的一行，然后检查另一列是否有“通过”关键字并打印它
[英]How do i uniquely identify a row in a csv by a column value, and then later check another column for a "Passed" keyword and print it
当一行中某一列的值与另一行另一列中的值匹配时，如何匹配pyspark数据框中的两行？
[英]How can I match two rows in a pyspark dataframe when the value in a column in a row matches the value in another column in another row?
在python中，如何在txt文件中的特定列中搜索特定值，然后返回该特定值的行？
[英]In python, how can I search a specific column for a specific value in a txt file then return the specific value's row?
如何将这三列 dataframe 转换为一列，该列的值在一行中的最大值
[英]how can I transform this three column dataframe to a one column with the value of the column in the highest value in a row
如果某一行的值格式错误，如何安全地（经过一些操作）更新Pandas列？
[英]How can I update a Pandas column safely (after some manipulation) if one row's value is formatted incorrectly?
如何在Python中将csv文件行列的值转换为（行，列，值）
[英]How can I turn csv file row column value into (row, column, value) in Python
pandas - 从字典列表创建数据框时，如何将行添加为列？
[英]pandas - How can I add row's as a column when creating a dataframe from a list of dicts?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.