Nokogiri返回的HTML与实际的HTML源代码不同

Question

我已经成功地在某些网站上进行了抓屏，但今天在某些网站上遇到了Nokogiri的一些非常奇怪的行为。

如果我在某些页面上查看了由Nokogiri下拉的HTML源代码以及网站上的实际HTML搜寻代码，则会被截断。 有些页面可以正常工作，所有数据都在那里，而其他页面会被遮断并被截断。

www.bento.com/revj/0172.html（无效-Nokogiri返回的截断HTML）www.bento.com/revj/0101.html（效果很好）

scraped_jpage = Nokogiri::HTML(open(page_to_scrape)
puts scraped_pagej

我尝试了各种不同的代码，更改了编码（UTF-8，SHIFT_JIS等），但是我看不到Nokogiri截断返回HTML的任何原因。

这些页面的英文版都可以正常运行。

www.bento.com/rev/0172.html www.bento.com/rev/0101.html

感谢您的帮助-希望这是我错过的显而易见的东西，而不是错误。

Answer 1

因为该源页面具有错误的html结构。

尝试打印结果错误：

puts scraped_jpage.errors