[英]How to loop dataframe column in databricks using pyspark
我想使用在 databricks 中运行的 pyspark 对 dataframe 列应用词形还原。请参阅图像以了解错误。
在 function 中导入 function lemmatize_sentence()，然后创建应该可以工作的 UDF。 您收到此错误是因为导入是在驱动程序节点上而不是在整个集群上。 当您在 function 中导入它时，在这种情况下，在创建 UDF 时，它会将 function 的副本发送到集群中的所有节点。
Databricks Pyspark + 如何将数据帧架构作为列插入到数据帧中
[英]Databricks Pyspark + How to insert a dataframe schema as a column in a dataframe
如何在 Databricks 的 PySpark 中使用 Scala 中创建的 DataFrame
[英]How to Use DataFrame Created in Scala in Databricks' PySpark
如何使用databricks中的pyspark将spark数据帧中的所有行数据提取到文件中
[英]How to fetch all rows data from spark dataframe to a file using pyspark in databricks
基于数据块上另一个 pyspark 数据帧的某些列，在大型 pyspark 数据帧的列上执行用户定义的函数
[英]Perform a user defined function on a column of a large pyspark dataframe based on some columns of another pyspark dataframe on databricks
PySpark 使用正则表达式替换字符并删除 Databricks 上的列
[英]PySpark Replace Characters using regex and remove column on Databricks
如何更快更有效地循环 DataBricks (Python)Pyspark 中的嵌套目录
[英]How to loop nested directories in DataBricks (Python)Pyspark faster and efficient way
如何将新列添加到 Spark DataFrame（使用 PySpark）？
[英]How do I add a new column to a Spark DataFrame (using PySpark)?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
