如何自定义 StormCrawler？

Question

虽然我已经使用 Apache Storm 有一段时间了，但我对 StormCrawler 还是很陌生。

我从 StormCrawler+ES 原型开始了一个项目。 但是，要自定义 StormCrawler，应该在什么特定点添加额外的螺栓？

戴夫。

Answer 1

一种方法是编写自定义螺栓并将其添加到提取器和解析器之间。 它应该查看 http 响应中给出的任何 mimetype 的元数据（记住用于存储来自协议的信息的前缀），可能会像在JSOUPParser中那样检测 mimetype。 如果是图像，则对其进行特定处理，然后发送到 output。 如果不是，则发送到自定义 stream； 后者将连接到 JSOUP 解析器，以便您获得外链； 前者进入ES。

您可以在不同的地方找到处理非默认流的示例，特别是Tika 模块。