忽略 Spark/Scala DataFrame 中的空值

Question

我正在嘗試使用 groupBy 忽略來自 spark 數據幀的空值，但它沒有工作

+----------+--------------+--------+-------------- ----+--------+

|職位 | 代碼1| 代碼2| 代碼3| 身份證|

+----------+--------------+-----------+----------- -----+--------+

| 0| 哈| 空| 空| 85|

| 0| 空| HN| 空| 85|

| 0| 空| 空| 191| 85|

| 0| 空| 行政長官| 空| 85|

| 0| HRa| 空| 空| 85|

| 0| 空| 空| 348| 85|

| 0| 空| 空| 203| 85|

| 1| ULS| 空| 空| 85|

| 0| 空| 高壓| 空| 85|

| 1| 空| 空| 840| 85|

| 1| 空| UA| 空| 85|

| 0| 氯化鋅| 空| 空| 85|

+----------+------------------------+-------------- ---------+--------+--------+

預期產出

+----------+------------------------+-------------- ------+----------+--------+

|職位 | 代碼1| 代碼2| 代碼3| 身份證|

+----------+------------------------+-------------- ------+----------+--------+

| 0| 哈| HN| 191| 85|

| 0| HRa| 行政長官| 348| 85|

| 1| ULS| UA| 840| 85|

| 0| CIZ| 高壓| 203| 85|

+----------+------------------------+-------------- --+----------------+--------+

Answer 1

像這樣

df.filter(col("column_name").isNotNull)

閱讀這篇文章