簡體 English 中英

robots.txt解析器java

[英]robots.txt parser java

原文 2010-06-29 13:24:46 3 3 java/ parsing/ robots.txt

我想知道如何在java中解析robots.txt。

有代碼嗎？

3 個解決方案

Heritrix是一個用Java編寫的開源Web爬蟲。 通過他們的javadoc，我看到他們有一個實用程序類Robotstxt來解析robots.txt文件。

在SourceForge上還有jrobotx庫。

（完全披露：我剝離了構成該庫的代碼。）

還有一個新版本的crawler-commons：

https://github.com/crawler-commons/crawler-commons

該庫旨在實現任何Web爬蟲的通用功能，這包括一個非常方便的robots.txt解析器

具有通配符支持的Java robots.txt解析器

[英]Java robots.txt parser with wildcard support

AppEngine Java中的Robots.txt

[英]Robots.txt in AppEngine Java

在tomcat 7中放置robots.txt的位置？

[英]Where to put robots.txt in tomcat 7?

如何通過CDI集成將robots.txt添加到Vaadin 7應用程序中？

[英]How to Add robots.txt to a Vaadin 7 Application with CDI-Integration?

如何使用Apache Nuch 2.2.1繞過robots.txt

[英]how to bypass robots.txt with apache nutch 2.2.1

如何在 Spring 框架中提供 robots.txt？

[英]How do I serve robots.txt in Spring framework?

使用 Spring MVC 提供 sitemap.xml 和 robots.txt

[英]Serving sitemap.xml and robots.txt with Spring MVC

我無法在Spring-MVC中訪問Robots.txt

[英]I cannot access Robots.txt in Spring-MVC

對 Challonge 的 HTTP Get 請求返回 robots.txt

[英]HTTP Get request to Challonge returns robots.txt

crawler4j似乎忽略了robots.txt文件…如何解決？

[英]crawler4j seems to be ignoring robots.txt file…How to fix it?

暫無

暫無

聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

相關問題 具有通配符支持的Java robots.txt解析器 AppEngine Java中的Robots.txt 在tomcat 7中放置robots.txt的位置？如何通過CDI集成將robots.txt添加到Vaadin 7應用程序中？如何使用Apache Nuch 2.2.1繞過robots.txt 如何在 Spring 框架中提供 robots.txt？使用 Spring MVC 提供 sitemap.xml 和 robots.txt 我無法在Spring-MVC中訪問Robots.txt 對 Challonge 的 HTTP Get 請求返回 robots.txt crawler4j似乎忽略了robots.txt文件…如何解決？

相關標簽

粵ICP備18138465號 © 2020-2024 STACKOOM.COM