在流量搜寻器中禁用子域

Question

如何在流媒体中禁用注入子域？ 现在，如果我们在流中注入www.ebay.com而不是在其中注入，我们将拥有子域页面： my.ebay.com ， community.ebay.com ，...

Answer 1

您可以配置HostURLFilter要排除的是种子的主机名之外的URL，在urlfilters.json ignoreOutsideHost设置为true

{
  "class": "com.digitalpebble.stormcrawler.filtering.host.HostURLFilter",
  "name": "HostURLFilter",
  "params": {
    "ignoreOutsideHost": true,
    "ignoreOutsideDomain": true
  }
}