如何限制stormcrawler中的爬行深度

Question

我的用例是仅每天从网站的任何页面和外链（仅存在于该页面上）中提取文本。 例如，我想抓取此页面上存在的（ https://www.indiatimes.com/news/world ）的所有链接。 这给了我每天几篇新鲜的新闻文章。 每天这个页面上大约有 30-40 个新闻文章链接，我想抓取并存储在我的数据库中。

这些是我现在拥有的一些配置-

这是 crawler-conf.yaml 的一部分 -

  parser.emitOutlinks: true
  perser.emitOutlinks.max.per.page: 0
  track.anchors: true
  metadata.track.path: true
  metadata.track.depth: true

这是 urlfilters.json 的一部分-

 {
         "class":  "com.digitalpebble.stormcrawler.filtering.depth.MaxDepthFilter",
          "name": "MaxDepthFilter",
           "params": {
             "maxDepth": 0
                   }
 }

在这些配置上，这个例如页面提供了超过 35000 次点击。 它会抓取我不需要的整个网站。 它从外链获得越来越多的 url。 如果我将 maxdepth 参数更改为 1 或 0 或 2，爬行的行为保持不变。 maxdepth 参数是否适合此用例？ 我想将爬行的这种递归性质限制为仅种子 URL 和种子 url 的外链。 maxdepth 参数实际上是什么意思？ 我应该怎么做才能限制爬网的扩展。

我正在使用 stromcrawler 1.16。

Answer 1

这正是最大深度过滤器的用途。 请记住，您需要使用mvn clean package重建您的 JAR 以使对 urlfilters.json 的任何更改生效。

如果您在解析页面时不想要任何外链，只需在配置中将parser.emitOutlinks设置为 false。