使用tweepy獲取獨特的推文

Question

我試圖使用一些搜索詞來獲取推文語料庫。 我遇到的一個問題是它無法獲得獨特的推文。 轉發。

有沒有辦法在不進行任何文本處理的情況下事先刪除它們？

我現在得到了什么：

 api=tweepy.API(auth)
 for search in hashtags:
     for tweet in  tweepy.Cursor(api.search,q=search,count=1000,lang="en").items(): 
         text=repr(tweet.text.encode("utf-8"))  
         out.write(text+"\n")

Answer 1

您可以在查詢中添加“-filter：轉推”以僅獲取原始推文。 也許不是最漂亮的解決方案，但它確實有效。

api=tweepy.API(auth)
for search in hashtags:
    for tweet in  tweepy.Cursor(api.search,q=search+" -filter:retweets",count=1000,lang="en").items(): 
        text=repr(tweet.text.encode("utf-8"))  
        out.write(text+"\n")