从Twitter Python检索数据

Question

我正在尝试构建一个应用程序，用户可以在其中连接到我的应用程序，输入用于在Twitter上搜索的关键字，然后将结果存储在数据库中。 从用户输入关键字的那一刻起，我就想跟踪Twitter上的内容，并将进一步分析这些结果并向用户提供一些统计信息。 到目前为止，我已经使用tweppy和twitter流API来获取推文。 但是我意识到我不能只有一个以上的开放式流连接（用于并行搜索多个关键字）。
我搜索了stackoverflow，找到了诸如断开连接，连接然后再使用新关键字进行搜索的解决方案，但是那样的话我将丢失数据。

我还检查了Twitter API，最多15分钟即可显示450个结果：
https://dev.twitter.com/docs/rate-limiting/1.1/limits

流API：
-公开直播不会给人带来超越连接的机会
-网站流不会给您搜索的机会

Firehose API不可选，因为它太贵了。

我怎么解决这个问题？ 我看到许多应用程序实时搜索多个实例。 有人遇到过这个吗？

Answer 1

您可以使用tweepy来收集样本中的所有tweet或过滤流终结点并将其保存到数据库中。 然后使用数据库仅返回搜索词的推文。

如果您不希望tweet持续太长时间，则使用no​​SQL数据库（例如redis）和使用到期时间戳可能会获得更好的结果，因此不会无限填满。