如何在ruby中使用机械化检测新博客帖子

Question

我尝试检测何时将新博客帖子添加到博客。 我正在使用机械化进行刮擦。 目前，如果您知道博客<article><header><h1>Blot Title here</h1></header></article>的父标签，这很简单，您只需对现在拥有的标题进行比较到您上次检查的时间。 但我想以编程方式执行此操作。 有没有一种方法可以以编程方式知道页面的哪个部分或标签包含博客文章的标题，而无需向脚本明确提供标签的含义？

Answer 1

假设有一个博客名称blog.example.com。 有职位-

<article><header><h1>Blot Title here1</h1></header></article>
<article><header><h1>Blot Title here2</h1></header></article>
<article><header><h1>Blot Title here3</h1></header></article>

使用选择器Gaget，您将了解哪个CSS负责每篇文章。 要废弃文章，可以使用nokogiri或机械化宝石。

假设macanize bot将访问blog.example.com，它将收集所有文章并将其插入数据库。

require 'nokogiri'
require 'open-uri'
if 1==1
url = "http://www.eslemployment.com/country/esl-jobs-Vietnam.html"
doc = Nokogiri::HTML(open(url))
data = []
doc.css("#joblist td:nth-child(1) a").first(5).each do |titlecss|
country = "8"
jobtype = "1"
urlnext = titlecss.attr('href')
docnext = Nokogiri::HTML(open(urlnext))
docnext.css('#jobdescription div').remove
docnext.css('#detailjob , #job-summary').each do |detailscss|
docnext.css('#pagemsg h1').each do |titlenextcss|
data << JobPost.create(
:title => titlenextcss.text,
:jobslink => urlnext,
:description => detailscss.inner_html,
:country_id => country,
:job_type_id => jobtype
)
end
end
end
end

这是nokogiri宝石的示例。 它从www.eslemployment.com收集工作。 现在您的问题是如何检测到已添加新文章。

此代码从页面收集所有作业，并将其添加到数据库中。 由于这个原因，我在这里在模型中使用“ distint”代码，因此只会将新作业添加到数据库中。 没有复制作业将被添加到数据库中。 添加新作业后，您可以通知添加了哪个作业。

这不是有效的方法。 但这会起作用。 否则，您可以使用该博客的rss feed。 这是检测新帖子的正确方法。