[英]Architecture with 3 servers for solr search engine
我将在solr上构建一个搜索引擎,然后像爬虫一样小憩一会。 我必须索引约1300万个文档。 我有3台服务器用于此工作:
我可以将其中一台服务器用作爬网和索引的主服务器,将其他两台服务器用作搜索的从机,或者可以将其中一台服务器用于搜索,将另外两台服务器用于使用两个分片进行索引。 您可以推荐哪种架构? 我应该使用分片,多少个分片以及应将哪些服务器用于什么?
我想都尝试一下。 阅读有关HathiTrust所做的事情。 我将从一个单一的主机和两个从机开始,这是最简单的方法。 而且,如果您只有1千3百万个文档,我想这将是在索引/爬网方面..…但是13百万个文档每分钟只有300页。 我想您的爬行者将成为瓶颈。
我倾向于将两台服务器用于搜索,将一台用于索引。
通常,您希望保持搜索速度尽可能快,但要牺牲索引性能。 此外,两个搜索服务器为您提供了一些自然的冗余。
当它实际上没有在建立索引时,我也会使用第三台服务器进行搜索。 (1300万份文档不是一个巨大的索引,与重新索引的频率相比,对它进行索引的时间应该不会很长)
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.