Java web scraper
[英]Java web scraper
问题描述
什么是Java Web scraper的最佳库？ 我知道以下选择：
- 硒
- 的HtmlUnit
- Lobo浏览器
我需要选择一个选项来为一个可伸缩项目构建一个scraper。
3 个解决方案
解决方案1
1 已采纳 2011-03-03 10:28:10
如果你在抓，你为什么需要浏览器？ 只是对页面进行基本的cURL调用并获得响应将为您提供所需的抓取功能。
这将有助于扩展性。 如果你想要一个浏览器，那就选择HTMLUnit，这样可以再次提高可伸缩性。
解决方案2
1 2011-03-03 15:07:53
我最近推荐了Web Harvest ，并认为它开箱即用，除了围绕HTTP 500响应代码的一些问题...
解决方案3
0 2012-03-02 11:24:34
使用jsoup ，它可以很好地从URL获取响应，然后使用XPath Expression来解析响应中的数据。 我实现了这个并且效果很好。
运行Web抓取程序时出现“线程“ main”中的异常“ java.lang.NullPointerException”错误
[英]“Exception in thread ”main“ java.lang.NullPointerException” error when running web scraper program
Java 多线程网络爬虫，每秒连续提取数据，同时允许消费者检索数据
[英]Java Multithreading web scraper that extracts data continuously at every second while allowing consumer to retrieve data
Will Jaunt web scraper能否抓取这个javascript网站
[英]Will Jaunt web scraper be capable of scraping this javascript site
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.