从博客获取所有帖子（wordpress或博主）

Question

这假设无法直接访问api。 由于我要求所有帖子，我不确定RSS会有多大帮助。

我考虑过一个简单的系统，它会遍历每年和每月，并下载每个html文件，但更改每年月份对的以下URL。 这适用于wordpress和博客博客。

http://www.lostincheeseland.com/2011/05    

但是，有没有办法使用blogger提供的以下搜索功能来返回所有博客？ 我玩过它，但文档似乎很少。

http://www.lostincheeseland.com/search?updated-max=2012-08-17T09:44:00%2B02:00&max-results=6

还有其他方法我没有考虑过吗？

Answer 1

您正在寻找的是站点地图 。

首先，你正在写一个机器人，所以检查博客的robots.txt文件是个好方法。 瞧，你经常会找到那里提到的站点地图。 以下是Google博客的示例：

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://googleblog.blogspot.com/feeds/posts/default?orderby=UPDATED

在这种情况下，您可以访问站点地图URL以获取xml站点地图。

对于Wordpress，同样适用，但它并非标准内置，因此并非所有博客都会拥有它。 看看这个插件 ，这是在Wordpress中创建这些站点地图的最流行的方式。 例如，我的博客使用此功能，您可以在/sitemap.xml （标准位置）找到站点地图

简而言之：

• 检查robots.txt
• 如果存在，请关注Sitemap网址
• 否则，请检查/sitemap.xml

另外： 成为一名优秀的互联网公民 ！ 如果您要编写机器人，请确保它遵循robots.txt文件（例如blogspot明确告诉您不要使用/search ！）