StormCrawler中的重定向有任何限制吗？

Question

我可以在_redirTo的状态索引中看到_redirTo标签。 有关重定向的几个问题如下：

1. 重定向有任何限制吗？ 这样它就不应该以重定向循环结尾吗？
2. 特定获取的URL有多少重定向？ 我只能在_redirTo标记中看到一个重定向，它是立即重定向。 如果URL有两个或三个重定向，则无法获得重定向计数？

Answer 1

您可以设置从种子开始的深度限制，请参见MaxDepth URL过滤器，但不能直接取决于连续重定向的数量。

如您所见，我们仅跟踪给定文档被重定向到的URL。

如果您想要控制重做的次数而不管与种子的距离如何，一种方法是扩展或修改MetadataTransfer或在协议实现中处理重做，其缺点是这将不会检查目标URL是否已经被拿来。

更新有一个名为'redirections.allowed'的配置元素，默认值为true。 我刚刚推送了针对SimpleFetcherBolt的修复程序，因为处理不正确。