簡體   English   中英

具有3個用於Solr搜索引擎的服務器的體系結構

[英]Architecture with 3 servers for solr search engine

我將在solr上構建一個搜索引擎,然后像爬蟲一樣小憩一會。 我必須索引約1300萬個文檔。 我有3台服務器用於此工作:

  1. 4核心Xeon 3Ghz,20Gb ram,1.5TB SATA
  2. 2 * 4核心Xeon 3Ghz,16Gb ram,500Gb ide
  3. 2 * 4核心Xeon 3Ghz,16Gb ram,500Gb ide

我可以將其中一台服務器用作爬網和索引的主服務器,將其他兩台服務器用作搜索的從機,或者可以將其中一台服務器用於搜索,將另外兩台服務器用於使用兩個分片進行索引。 您可以推薦哪種架構? 我應該使用分片,多少個分片以及應將哪些服務器用於什么?

我想都嘗試一下。 閱讀有關HathiTrust所做的事情。 我將從一個單一的主機和兩個從機開始,這是最簡單的方法。 而且,如果您只有1千3百萬個文檔,我想這將是在索引/爬網方面..…但是13百萬個文檔每分鍾只有300頁。 我想您的爬行者將成為瓶頸。

我傾向於將兩台服務器用於搜索,將一台用於索引。

通常,您希望保持搜索速度盡可能快,但要犧牲索引性能。 此外,兩個搜索服務器為您提供了一些自然的冗余。

當它實際上沒有在建立索引時,我也會使用第三台服務器進行搜索。 (1300萬份文檔不是一個巨大的索引,與重新索引的頻率相比,對它進行索引的時間應該不會很長)

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM