[英]Can't write to Azure Sql DataWarehouse from databricks pyspark workers
[英]Azure Databricks & pyspark - substring errors
使用以下行在我的 Databricks Spark 脚本中出现两个错误:
df = spark.createDataFrame(pdDf).withColumn('month', substring(col('dt'), 0, 7))
第一个:
AttributeError: 'Series' object has no attribute 'substr'
和
NameError: name 'substr' is not defined
我想知道我做错了什么...
原来我没有导入pyspark.sql.functions
from pyspark.sql.functions import *
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.