Stormcrawler的ContentParseFilter

Question

如果我将StormCrawler的ContentParseFilter设置为

"pattern": "//DIV[@id=\"site-body\"]",

这是否意味着在处理每个URL时它将是寻找其他页面链接的唯一地方？ 我想知道是否设置为它将开始忽略菜单等中的所有网址。

谢谢！ 吉姆

Answer 1

请参阅WIKI页面以获取ParseFilters

ContentFilter允许将文档的文本限制为Xpath表达式所覆盖的文本

它根本不影响链接的提取，而是旨在改善索引的文本。