我如何使用流API将Twitter数据中的推文输入到CSV中

Question

我正在使用Tweepy从Twitter获取数据并使用Stream API ...这是我的t_stream.py文件：

access_token = "my token"
access_token_secret = "my t_secret"
consumer_key = "my key"
consumer_secret = "my c_secret"

class StdOutListener(StreamListener):
    def on_data(self, raw_data):
        data = json.loads(raw_data)
        print(json.dumps(data, ensure_ascii=False))

    def on_error(self, status):
        print (status)

if __name__ == '__main__':

    dinle = StdOutListener()
    auth = OAuthHandler(consumer_key, consumer_secret)
    auth.set_access_token(access_token, access_token_secret)
    stream = Stream(auth, dinle)

使用代码时，我有一个名为veri.txt的文件：

    python3 t_stream.py > veri.txt

这是结果数据的一部分： https : //paste.pound-python.org/show/SiUalejehr6T8BEvYOpw/

从这个veri.txt文件中，我想获取如下信息：

retweet_count：

followers_count：

名称：

文本：

而且我想将这些列存储为csv输出文件...我尝试了一些代码，但是没有用。 因此，我要一个python代码来逐行读取文本文件，从行中获取我上面提到的信息，并将它们作为列存储在csv文件的数据文件中。 有人可以帮我解决这个问题吗？ 谢谢。

Answer 1

python3 docs中的一些示例：

import csv
with open('eggs.csv', 'w', newline='') as csvfile:
    spamwriter = csv.writer(csvfile, delimiter=' ',
                            quotechar='|', quoting=csv.QUOTE_MINIMAL)
    spamwriter.writerow(['Spam'] * 5 + ['Baked Beans'])
    spamwriter.writerow(['Spam', 'Lovely Spam', 'Wonderful Spam'])

Answer 2

不是python示例，但是您可以使用jq过滤器轻松实现流输出的管道。

$ oksocial https://stream.twitter.com/1.1/statuses/sample.json | jq -r 'select(.id?) | [.user.name, .retweet_count, .user.followers_count, .text] | @csv'


"˗ˏˋ molly ˎˊ˗",0,176,"RT @Real_Liam_Payne: What a hero"
"DerrickMadelyn",0,62,"Benefits upon hiring a calculator herein tampa differently rapt: xsLysp"
"LemanLogan",0,67,"Do the improve on hood provision rates into the friendly desideratum.: FxzCOjcA"
"larron prayer-uh♑️",0,696,"Last summer was definitely the best one I've had"
"Joel Garza",0,102,"@ewa_jodlowska @dougnap 
Gah! We were going to ask about those yesterday. The PyCon Mexico organizers wanted to take one."
"BrianEmma",0,44,"However on prize lone in relation with the immeasurably fructuous electronic flageolet: fsnFMQR"