Pyspark過濾掉RDD中的空行無效

Question

我對火花和pyspark來說相對較新

final_plogfiles = plogfiles.filter(lambda x: len(x)>0)

我編寫了這段代碼來過濾掉RDD plogfiles中的空行。 它沒有刪除空行。

我也試過了

plogfiles.filter(lambda x: len(x.split())>0)

但是，如果我使用plogfiles.filter(lambda x: x.split()) ，所有行中的尾隨和前導空格都會被修剪

我只想過濾掉空行。 我想知道我哪里出錯了。

Answer 1

plogfiles是RDD嗎？ 以下工作對我來說很好：

lines = sc.textFile(input_file)
non_empty_lines = lines.filter(lambda x: len(x)>0 )