Nutch Crawl 意外被杀死的任务有什么办法可以继续执行？
[英]Is there any way to continue the Nutch Crawl task which has been killed unexpected?
问题描述
我有一个 Nutch 爬网任务，该任务已经运行了一整天，直到我错误地终止了该进程。
我不想重新抓取种子（花费很多时间），所以我想知道是否有一种方法或一些 Nutch Crawler 参数可以使抓取工具忽略那些已经抓取的 url。
非常感谢 ！
1 个解决方案
解决方案1
0 已采纳 2012-04-08 03:24:43
开始爬取后，可能会在 output 目录中创建一些段。 使用bin/nutch命令并将-dir选项指向上次运行的 output 目录。 对于urlDir参数，创建一个带有单个 url 的虚拟参数（如果 urldir 中没有任何 url，只是为了避免错误。）
有没有办法检测一个方法是否已被删除或一个类是否已被删除？ 爪哇
[英]Is there any way of detecting if a method has been removed or a class has? Java
有什么方法可以知道 Producer 中是否已经确认了 kafka 消息？
[英]Is there any way to know if kafka message has been confirmed in Producer?
有没有办法查看ActionListener中2个JComboBox中的哪个已被修改？
[英]Is there a way to see which of 2 JComboBox's has been modified in the ActionListener?
有什么方法可以确认线程是否在执行结束时被杀死？
[英]is there any way to confirm if the thread is killed at the end of execution?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.