用Solr索引外部rest api，可能吗？

Question

这个问题也许很奇怪，但是我的老板要求我找出答案，因此我会。

在我们的应用程序中，我们使用外部REST api搜索一些数据。 该REST API可以提供多种类型的数据，但一次只能查找一种类型的数据。 例如城市名称和街道名称。 在我们的应用程序中，我们强迫用户选择搜索时要查找的数据类型，但是现在我们的用户不想这样做。 因此，如果他们搜索“ los”，则希望结果包含“ Los Angeles”和“ Losing Street”。 为了使现在可行，我们将不得不在REST API中进行两个单独的搜索并将结果合并。

因此，我的老板改为阅读了Solr，并坚信可以为REST API编制索引，以便我们使用Solr在一个搜索请求中搜索所需的内容。 我不太确定。 有可能吗？是否可行？

Answer 1

是的，绝对可以为上述需求提供解决方案。 基本上，solr是全文搜索引擎，默认情况下，所有字段都在solr中建立索引。 一个人可以通过分析器和标记器组合在这些字段上执行不同类型的操作。 您可以将所有可搜索字段映射到一个特定字段（称为复制字段，即城市名称和街道名称->文本名称），然后在该字段上进行搜索以根据需要获取结果。

solr是RESTful搜索引擎，它以xml和可选JSON格式提供数据。 它真正有用的平台可处理海量数据，无助于计算等分析部分。

这些好处很少包括自动建议，突出显示，构面，同义词搜索，n-gram搜索，自动更正等。

Answer 2

我认为您应该向REST API维护者发送功能请求，以支持组合搜索。

您唯一要做的就是从REST API下载整个数据库，并创建一个自己的数据库，然后您可以使用自定义查询对它进行索引和搜索，并且必须与REST API保持同步。 我想你不想那样做。 它将起作用，但是所谓的REST API通常不会通过链接和语义注释使客户端与服务的实现脱钩。 因此，恐怕API的任何更改都会轻易破坏它。

Afaik Solr是一种存储解决方案，它支持全文搜索并具有REST界面。

Solr是具有REST类API的独立企业搜索服务器。 您可以通过XML，JSON，CSV或HTTP二进制文件将文档放入其中（称为“索引编制”）。 您可以通过HTTP GET查询它，并接收XML，JSON，CSV或二进制结果。

Answer 3

实际拥有数据后，您就可以使用数据导入处理程序（DIH），Solr的RESTful接口或类似Spring Data Solr之类的功能将数据从REST API发布到Solr。 棘手的部分是如何“抓取”第三方REST API数据？

根据REST API提供程序是否提供任何方式对数据进行分页（即按时间顺序或按字母顺序），您可能能够在Solr外部编写一个程序来轮询REST API，然后在将数据发布到本地之前将其存储在本地数据库中Solr。 如果REST API提供程序允许您检索在一定时间后更新的新记录或更改记录，则这样做会更容易，这样您的轮询将非常有效，并且仅在初始完全索引后才检索少量数据。 某些REST提供程序允许使用Webhooks来通知您的应用程序他们已更新其API中的数据。 根据数据量以及是否可以通过用户帐户限制它等以仅包含所需内容，这可能可行或不可行。

将第三方数据存储在Solr以外的本地数据库中非常重要，因为Solr的索引数据文件易失，有时在进行配置更改后需要将其删除。 这样，您可以编写一个过程来将数据从数据库重新发布到Solr，而无需再次爬网REST API。

为了定期处理轮询，可以使用诸如Apache Camel或Spring Integration以及Quartz Scheduler之类的工具。 这两个都支持REST端点，您还可以查看Solr随附的DIH示例。