如何在Nutch 2.3中抓取图像作为HBase作为后端？

Question

我想从某些站点抓取图像。 到目前为止，我尝试修改regex-urlfilter.txt。

我变了：

 -\.(gif|GIF|jpg|JPG|png|PNG|ico|ICO|css|CSS|sit|SIT|eps|EPS|wmf|WMF|zip|ZIP|ppt|PP
 T|mpg|MPG|xls|XLS|gz|GZ|rpm|RPM|tgz|TGZ|mov|MOV|exe|EXE|jpeg|JPEG|bmp|BMP|js|JS)$

至：

-\.(css|CSS|sit|SIT|eps|EPS|wmf|WMF|zip|ZIP|ppt|PPT|mpg|MPG|xls|XLS|gz|GZ|rpm|RPM|t
gz|TGZ|mov|MOV|exe|EXE|js|JS)$

但这没有用。 令我感到惊讶的是，我没有找到有关使用Nutch 2.3抓取图像的任何文档。 引用任何现有文档确实是一个很大的帮助。

Answer 1

为了使用Nutch提取和存储图像，您必须遵循以下步骤：

1-添加正则表达式以不过滤图像格式，例如jpg，jpeg，tif，gif，png等（您已经做过）

2-实现用于解析图像的解析插件。 有关Nutch扩展点和编写所需插件的更多信息，请遵循以下链接：

http://wiki.apache.org/nutch/AboutPlugins

http://wiki.apache.org/nutch/WritingPluginExample

3-告诉Nutch有关已实现的插件并将其用于图像文件格式的信息：

为此，您必须遵循两个不同的步骤，首先，修改conf / parse-plugins.xml并将实现的插件映射为图像文件格式：

<mimeType name="image/jpeg">
        <plugin id="parse-image" />
</mimeType>
<mimeType name="image/gif">
        <plugin id="parse-image" />
</mimeType>
<mimeType name="image/png">
        <plugin id="parse-image" />
</mimeType>

其次，将已实现的插件添加到nutch-site.xml ，以在Nutch运行时中运行。 您必须将实现的插件添加到<plugin.includes>属性。