推文的渐进式抓取

Question

在 Twitter API 中，我如何对推文进行渐进式抓取？ 例如使用搜索 API：

$url = 'https://api.twitter.com/1.1/search/tweets.json';
$getfield = '?q='.urlencode("#thanksgiving").'&count=100'.'&tweet_mode=extended';

最大回报是 100 条推文。 但是有100多条推文，现在如何指定获取接下来的100条推文？ 它是时间依赖的吗？ 意思是第一次返回最新的 100 条推文？

Answer 1

这不是标准搜索 API 提供的功能。

使用高级搜索 API ：

要请求数据的下一个“页面”，您必须进行与原始数据完全相同的查询，包括 query、toDate 和 fromDate（如果使用），并且还包括设置为上一个响应中的值的“下一个”请求参数。 这可以与 GET 或 POST 请求一起使用。 但是，在 GET 请求的情况下，'next' 参数必须是 URL 编码的。 您可以继续传递上一个查询中的“下一个”元素，直到您收到查询涵盖的时间段内的所有推文。 当您收到不包含“下一个”元素的响应时，这意味着您已到达最后一页，并且对于指定的查询和时间范围没有可用的附加数据。

由于您正在传递next参数，因此在您已经处理的数据之前是否出现较新的数据并不重要。