HTML 抓取的选项？ [关闭]
[英]Options for HTML scraping? [closed]
问题描述
我正在考虑尝试Beautiful Soup ，这是一个用于 HTML 抓取的 Python 包。 我应该查看其他任何 HTML 抓取包吗？ Python 不是必需的，我实际上也有兴趣了解其他语言。
到目前为止的故事：
40 个解决方案
解决方案1
65 已采纳
Ruby 世界相当于 Beautiful Soup 是why_the_lucky_stiff 的Hpricot 。
解决方案2
45
在 .NET 世界中，我推荐 HTML Agility Pack。 不像上面的一些选项（如 HTMLSQL）那么简单，但它非常灵活。 它使您可以像处理格式良好的 XML 一样操作格式不正确的 HTML，因此您可以使用 XPATH 或仅迭代节点。
解决方案3
38
BeautifulSoup 是进行 HTML 抓取的好方法。 我之前的工作让我做了很多抓取，我希望我在开始时就知道 BeautifulSoup。 它就像具有更多有用选项的 DOM，并且更像 Python。 如果您想尝试 Ruby，他们将 BeautifulSoup 移植为 RubyfulSoup，但它已经有一段时间没有更新了。
其他有用的工具是 HTMLParser 或 sgmllib.SGMLParser，它们是标准 Python 库的一部分。 这些通过在您每次输入/退出标签并遇到 html 文本时调用方法来工作。 如果你熟悉，他们就像外籍人士。 如果您要解析非常大的文件并且创建 DOM 树又长又贵，这些库就特别有用。
正则表达式不是很必要。 BeautifulSoup 处理正则表达式，因此如果您需要它们的功能，您可以在那里使用它。 除非您需要速度和较小的内存占用，否则我建议使用 BeautifulSoup。 如果您在 Python 上找到更好的 HTML 解析器，请告诉我。
解决方案4
21
解决方案5
19
Python lxml库充当 libxml2 和 libxslt 库的 Pythonic 绑定。 我特别喜欢它的 XPath 支持和内存中 XML 结构的漂亮打印。 它还支持解析损坏的 HTML。 而且我认为您找不到比 lxml 更快地解析 XML 的其他 Python 库/绑定。
解决方案6
18
对于 Perl，有 WWW::Mechanize。
解决方案7
17
解决方案8
14
'Simple HTML DOM Parser' 是 PHP 的一个不错选择，如果您熟悉 jQuery 或 JavaScript 选择器，那么您会发现自己很自在。
解决方案9
14
为什么还没有人提到 Java 的 JSOUP？ http://jsoup.org/
解决方案10
11
Adrian Holovaty（以Django闻名）的templatemaker实用程序使用了一种非常有趣的方法：您将同一页面的变体提供给它，它会“学习”可变数据的“漏洞”在哪里。 它不是特定于 HTML 的，因此它也适用于抓取任何其他纯文本内容。 我也将它用于转换为纯文本的 PDF 和 HTML（分别使用 pdftotext 和 lynx）。
解决方案11
10
我知道并喜欢Screen-Scraper 。
Screen-Scraper 是一种从网站中提取数据的工具。 Screen-Scraper 自动化：
* Clicking links on websites
* Entering data into forms and submitting
* Iterating through search result pages
* Downloading files (PDF, MS Word, images, etc.)
常见用途：
* Download all products, records from a website
* Build a shopping comparison site
* Perform market research
* Integrate or migrate data
技术的：
* Graphical interface--easy automation
* Cross platform (Linux, Mac, Windows, etc.)
* Integrates with most programming languages (Java, PHP, .NET, ASP, Ruby, etc.)
* Runs on workstations or servers
三个版本的屏幕抓取工具：
* Enterprise: The most feature-rich edition of screen-scraper. All capabilities are enabled.
* Professional: Designed to be capable of handling most common scraping projects.
* Basic: Works great for simple projects, but not nearly as many features as its two older brothers.
解决方案12
9
我会首先查明相关站点是否提供 API 服务器或 RSS 源以访问您需要的数据。
解决方案13
8
require 'hpricot'
Shoes.app :title => "Ask Stack Overflow", :width => 370 do
SO_URL = "http://stackoverflow.com"
stack do
stack do
caption "What is your question?"
flow do
@lookup = edit_line "stackoverflow", :width => "-115px"
button "Ask", :width => "90px" do
download SO_URL + "/search?s=" + @lookup.text do |s|
doc = Hpricot(s.response.body)
@rez.clear()
(doc/:a).each do |l|
href = l["href"]
if href.to_s =~ /\/questions\/[0-9]+/ then
@rez.append do
para(link(l.inner_text) { visit(SO_URL + href) })
end
end
end
@rez.show()
end
end
end
end
stack :margin => 25 do
background white, :radius => 20
@rez = stack do
end
end
@rez.hide()
end
end
解决方案14
8
Perl 的另一个选择是Web::Scraper ，它基于 Ruby 的Scrapi 。 简而言之，通过简洁明了的语法，您可以直接在数据结构中获得一个强大的刮刀。
解决方案15
7
我在 Java 中使用HtmlUnit取得了一些成功。 这是一个用于在 Web UI 上编写单元测试的简单框架，但对于 HTML 抓取同样有用。
解决方案17
6
.NET 的另一个工具是MhtBuilder
解决方案18
6
也有这个解决方案： netty HttpClient
解决方案19
5
我在 Python 中经常使用 Beautiful Soup。 它比正则表达式检查要好得多，因为它就像使用DOM 一样，即使 HTML 格式很差。 您可以使用比正则表达式更简单的语法快速找到 HTML 标签和文本。 一旦找到一个元素，就可以遍历它及其子元素，这比使用正则表达式更有助于理解代码中的内容。 我希望Beautiful Soup 早在我不得不做很多屏幕抓取的时候就存在了——它可以为我节省很多时间和头痛，因为在人们开始验证它之前，HTML 结构非常糟糕。
解决方案20
5
虽然它是为.NET web 测试而设计的，但我一直在使用WatiN框架来实现这个目的。 由于它是基于 DOM 的，因此很容易捕获 HTML、文本或图像。 最近，我用它将MediaWiki All Pages 命名空间查询中的链接列表转储到 Excel 电子表格中。 下面的VB.NET代码片段相当粗糙，但它有效。
Sub GetLinks(ByVal PagesIE As IE, ByVal MyWorkSheet As Excel.Worksheet)
Dim PagesLink As Link
For Each PagesLink In PagesIE.TableBodies(2).Links
With MyWorkSheet
.Cells(XLRowCounterInt, 1) = PagesLink.Text
.Cells(XLRowCounterInt, 2) = PagesLink.Url
End With
XLRowCounterInt = XLRowCounterInt + 1
Next
End Sub
解决方案21
5
我在 Ruby 上使用 Hpricot。 例如，这是一段代码，我用来从我的 HireThings 帐户的六页中检索所有书名（因为它们似乎没有提供包含此信息的单个页面）：
pagerange = 1..6
proxy = Net::HTTP::Proxy(proxy, port, user, pwd)
proxy.start('www.hirethings.co.nz') do |http|
pagerange.each do |page|
resp, data = http.get "/perth_dotnet?page=#{page}"
if resp.class == Net::HTTPOK
(Hpricot(data)/"h3 a").each { |a| puts a.innerText }
end
end
end
它非常完整。 在此之前的所有内容都是库导入和我的代理设置。
解决方案22
3
好吧，如果您只想使用浏览器从客户端完成它，那么您拥有jcrawl.com 。 从 Web 应用程序 ( http://www.jcrawl.com/app.html ) 设计您的抓取服务后，您只需将生成的脚本添加到 HTML 页面即可开始使用/呈现您的数据。
所有的抓取逻辑都通过 JavaScript 发生在浏览器上。 希望对你有帮助。 单击此链接可查看从 Yahoo 网球中提取最新新闻的现场示例。
解决方案23
3
我已经将LWP和HTML::TreeBuilder与 Perl 一起使用，并且发现它们非常有用。
LWP（libwww-perl 的缩写）可让您连接到网站并抓取 HTML，您可以在此处获取模块，O'Reilly 的书似乎在此处在线。
TreeBuilder 允许您从 HTML 构造树，并且文档和源代码在HTML::TreeBuilder - Parser that build a HTML syntax tree中可用。
不过，使用这种方法可能还有太多繁重的工作要做。 我没有看过另一个答案建议的Mechanize 模块，所以我很可能会这样做。
解决方案24
3
HTML5 解析算法的实现： html5lib （Python、Ruby）、 Validator.nu HTML Parser （Java、JavaScript；C++ 正在开发）、 Hubbub (C)、 Twintsam （C#；即将推出）。
解决方案25
3
在 Java 中，您可以使用TagSoup 。
解决方案26
3
如果不使用 Perl，你就是个傻瓜.. 火焰来了..
专注于以下模块，并在周围进行任何刮擦。
use LWP
use HTML::TableExtract
use HTML::TreeBuilder
use HTML::Form
use Data::Dumper
解决方案27
2
您可能已经拥有了很多，但我认为这就是您想要做的：
from __future__ import with_statement
import re, os
profile = ""
os.system('wget --no-cookies --header "Cookie: soba=(SeCreTCODe)" http://stackoverflow.com/users/30/myProfile.html')
with open("myProfile.html") as f:
for line in f:
profile = profile + line
f.close()
p = re.compile('summarycount">(\d+)</div>') #Rep is found here
print p
m = p.search(profile)
print m
print m.group(1)
os.system("espeak \"Rep is at " + m.group(1) + " points\""
os.remove("myProfile.html")
解决方案28
2
我还使用 Aptana 的 Jaxer + jQuery 解析页面取得了巨大成功。 它本质上没有那么快或“类似脚本”，但 jQuery 选择器 + 真正的 JavaScript/DOM 是更复杂（或格式错误）页面的救星。
解决方案29
2
我在 .NET 中使用 SgmlReader 获得了混合结果，它最初由Chris Lovett启动，似乎已由MindTouch更新。
解决方案30
2
我喜欢 Google 电子表格的 ImportXML(URL, XPath) 功能。
如果您的 XPath 表达式返回多个值，它将在列中重复单元格。
在一个电子表格上最多可以有 50 个importxml()函数。
RapidMiner 的 Web 插件也非常易于使用。 它可以发帖，接受 cookie，并且可以设置user-agent 。
解决方案31
1
我为网页抓取制作了一个非常好的图书馆互联网工具。
这个想法是将模板与网页匹配，这将从页面中提取所有数据并验证页面结构是否不变。
因此，您可以只获取要处理的网页的 HTML，删除所有动态或不相关的内容并注释有趣的部分。
例如，stackoverflow.com 索引页面上一个新问题的 HTML 是：
<div id="question-summary-11326954" class="question-summary narrow">
<!-- skipped, this is getting too long -->
<div class="summary">
<h3><a title="Some times my tree list have vertical scroll ,then I scrolled very fast and the tree list shivered .Have any solution for this.
" class="question-hyperlink" href="/questions/11326954/about-scroll-bar-issue-in-tree">About Scroll bar issue in Tree</a></h3>
<!-- skipped -->
</div>
</div>
因此，您只需删除此特定 id、标题和摘要，即可创建一个模板，该模板将读取标题、摘要、链接数组中的所有新问题：
<t:loop>
<div class="question-summary narrow">
<div class="summary">
<h3>
<a class="question-hyperlink">
{title:=text(), summary:=@title, link:=@href}
</a>
</h3>
</div>
</div>
</t:loop>
当然，它还支持基本技术、CSS 3 选择器、XPath 2 和 XQuery 1 表达式。
唯一的问题是我太愚蠢了把它变成了一个Free Pascal库。 但也有独立于语言的网络演示。
解决方案32
1
Scrubyt使用 Ruby 和 Hpricot 来做漂亮而简单的网页抓取。 我在大约 30 分钟内使用它为我大学的图书馆服务编写了一个刮刀。
解决方案33
1
对于更复杂的抓取应用程序，我会推荐 IRobotSoft 网络抓取工具。 它是一款专门用于屏幕抓取的免费软件。 它具有强大的 HTML 页面查询语言，并提供了一个非常简单的 Web 录制界面，可以让您免去许多编程工作。
解决方案34
1
正则表达式也适用于 HTML 抓取；-) 虽然在看过 Beautiful Soup 之后，我明白为什么这将是一个有价值的工具。
解决方案35
1
Dav Glass 最近的演讲欢迎来到丛林！ （YUIConf 2011 Opening Keynote）展示了如何在Node.js上使用YUI 3在服务器上进行类似客户端的编程（使用 DOM 选择器而不是字符串处理）。 这是非常令人印象深刻的。
解决方案36
1
我一直在使用 Feedity - http://feedity.com在我的图书馆进行一些抓取工作（并转换为 RSS 提要）。 它适用于大多数网页。
解决方案37
1
我做了很多高级网络抓取，所以想完全控制我的堆栈并了解限制。 这个网页抓取库就是结果。
解决方案38
0
解决方案39
0
对于那些喜欢图形工作流工具的人来说，RapidMiner (FOSS) 有一个很好的网络爬行和抓取工具。
这是一系列视频：
http://vancouverdata.blogspot.com/2011/04/rapidminer-web-crawling-rapid-miner-web.html
解决方案40
-1
夏普查询
它基本上是用于 C# 的 jQuery。 它依赖于HTML Agility Pack来解析 HTML。
Node.js抓取选项
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.