如何在Nut 2.1中抓取頁面但不獲取視頻/圖像內容？
[英]How can i crawl page but without fetching video/image content in nutch 2.1?
問題描述
我想抓取頁面，我只需要采用HTML本身，避免使用所有圖像/視頻等...可以這樣做嗎？ 提前致謝。
1 個解決方案
解決方案1
1 已采納 2013-01-11 03:57:01
檢查regex-urlfilter.txt文件。
您可以包括不想索引的文件擴展名的擴展名。 例如
# skip image and other suffixes we can't yet parse
# for a more extensive coverage use the urlfilter-suffix plugin
-\.(gif|GIF|jpg|JPG|png|PNG|ico|ICO|css|CSS|sit|SIT|eps|EPS|wmf|WMF|zip|ZIP|ppt|PPT|mpg|MPG|xls|XLS|gz|GZ|rpm|RPM|tgz|TGZ|mov|MOV|exe|EXE|jpeg|JPEG|bmp|BMP|js|JS)$
我可以使用Nutch爬網，存儲在Cassandra中，使用Solr進行索引嗎？
[英]Can I crawl with Nutch, store in Cassandra, index using Solr?
如何配置Nutch只抓取seeklist中的URL？ （無需向后爬行）
[英]How to config Nutch to crawl only the URLs in seeklist? (no crawl back need)
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.