繁体   English   中英

具有3个用于Solr搜索引擎的服务器的体系结构

[英]Architecture with 3 servers for solr search engine

我将在solr上构建一个搜索引擎,然后像爬虫一样小憩一会。 我必须索引约1300万个文档。 我有3台服务器用于此工作:

  1. 4核心Xeon 3Ghz,20Gb ram,1.5TB SATA
  2. 2 * 4核心Xeon 3Ghz,16Gb ram,500Gb ide
  3. 2 * 4核心Xeon 3Ghz,16Gb ram,500Gb ide

我可以将其中一台服务器用作爬网和索引的主服务器,将其他两台服务器用作搜索的从机,或者可以将其中一台服务器用于搜索,将另外两台服务器用于使用两个分片进行索引。 您可以推荐哪种架构? 我应该使用分片,多少个分片以及应将哪些服务器用于什么?

我想都尝试一下。 阅读有关HathiTrust所做的事情。 我将从一个单一的主机和两个从机开始,这是最简单的方法。 而且,如果您只有1千3百万个文档,我想这将是在索引/爬网方面..…但是13百万个文档每分钟只有300页。 我想您的爬行者将成为瓶颈。

我倾向于将两台服务器用于搜索,将一台用于索引。

通常,您希望保持搜索速度尽可能快,但要牺牲索引性能。 此外,两个搜索服务器为您提供了一些自然的冗余。

当它实际上没有在建立索引时,我也会使用第三台服务器进行搜索。 (1300万份文档不是一个巨大的索引,与重新索引的频率相比,对它进行索引的时间应该不会很长)

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM