![](/img/trans.png)
[英]Assign date values for null in a column in a pyspark dataframe
[英]Pyspark Removing null values from a column in dataframe
我的数据框如下所示
ID,FirstName,LastName
1,Navee,Srikanth
2,,Srikanth
3,Naveen,
现在我的问题陈述是,由于名字为空,我必须删除第2行。
我正在使用以下pyspark脚本
join_Df1= Name.filter(Name.col(FirstName).isnotnull()).show()
我收到错误消息
File "D:\0\NameValidation.py", line 13, in <module>
join_Df1= filter(Name.FirstName.isnotnull()).show()
TypeError:“列”对象不可调用
谁能帮我解决这个问题
看起来您的DataFrame FirstName具有空值,而不是Null
。 以下是一些可以尝试的选项:-
df = sqlContext.createDataFrame([[1,'Navee','Srikanth'], [2,'','Srikanth'] , [3,'Naveen','']], ['ID','FirstName','LastName'])
df.show()
+---+---------+--------+
| ID|FirstName|LastName|
+---+---------+--------+
| 1| Navee|Srikanth|
| 2| |Srikanth|
| 3| Naveen| |
+---+---------+--------+
df.where(df.FirstName.isNotNull()).show() #This doen't remove null because df have empty value
+---+---------+--------+
| ID|FirstName|LastName|
+---+---------+--------+
| 1| Navee|Srikanth|
| 2| |Srikanth|
| 3| Naveen| |
+---+---------+--------+
df.where(df.FirstName != '').show()
+---+---------+--------+
| ID|FirstName|LastName|
+---+---------+--------+
| 1| Navee|Srikanth|
| 3| Naveen| |
+---+---------+--------+
df.filter(df.FirstName != '').show()
+---+---------+--------+
| ID|FirstName|LastName|
+---+---------+--------+
| 1| Navee|Srikanth|
| 3| Naveen| |
+---+---------+--------+
df.where("FirstName != ''").show()
+---+---------+--------+
| ID|FirstName|LastName|
+---+---------+--------+
| 1| Navee|Srikanth|
| 3| Naveen| |
+---+---------+--------+
你应该做如下
join_Df1.filter(join_Df1.FirstName.isNotNull()).show
希望这可以帮助!
我认为您可能需要的是this notnull()
。
这是您在csv文件my_test.csv
输入:
ID,FirstName,LastName
1,Navee,Srikanth
2,,Srikanth
3,Naveen
编码:
import pandas as pd
df = pd.read_csv("my_test.csv")
print(df[df['FirstName'].notnull()])
输出:
ID FirstName LastName
0 1 Navee Srikanth
2 3 Naveen NaN
这就是你想要的! df[df['FirstName'].notnull()]
df['FirstName'].notnull()
:
0 True
1 False
2 True
这将创建一个数据帧df
,其中df['FirstName'].notnull()
返回True
如何检查? df['FirstName'].notnull()
如果FirstName
列的值不为null,则返回True
否则,如果存在NaN
则返回False
。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.