將功能應用於Spark RDD

Question

我正在嘗試對推文進行一些分析。 我想將.lower()應用於推text中的每個text 。 我用下面的代碼

    actual_tweets = actual_tweets.map(lambda line: line["text"].lower() and line["quoted_status"]["text"].lower() if 'quoted_status' in line else line["text"].lower()).collect()

問題是因為我正在使用map ，所以這行代碼將text屬性轉換為小寫，並向我返回忽略所有其他屬性的唯一text屬性，這不是我想要的。 我只是想知道spark transformations幫助我實現我想要的目標。

Answer 1

例如，您可以返回一個元組（輸入，transformed_input）：

def transform(line):
    if 'quoted_status' in line:
        return (
            # Is `and` what you really want here?
            line, line["text"].lower() and line["quoted_status"]["text"].lower() 
        )
    else:
        return line, line["text"].lower()

actual_tweets.map(transform)