如何為大量數據設置彈性集群？

Question

我被要求為大約100 TB的文本數據設置彈性搜索集群！ 我已經知道如何進行彈性搜索和聚合，但是我真的不知道如何為這樣的大數據設置具有多個節點的集群！ 我的意思是多少個大師，zoe老板，CD，...？ 還是我需要一台專用服務器用於activeMQ？ ...

是否有任何文件可以解釋這一點？

Answer 1

ES是一個分布式系統，創建具有1個節點或1000個節點的集群沒有多大區別。

在這種情況下，您可以做的是擁有一些主節點和更多數據節點來創建一個大型集群。

主節點負責集群范圍內的輕量級操作，例如創建或刪除索引，跟蹤哪些節點是集群的一部分以及確定將哪些碎片分配給哪些節點。

數據節點包含包含您已建立索引的文檔的分片。 數據節點處理與數據相關的操作，例如CRUD，搜索和聚合。 這些操作是I / O，內存和CPU密集型的。 監視這些資源並在過載時添加更多數據節點非常重要。

您可以選擇較小的主節點（如果它們不保存數據）和較大的數據節點。

以下是主節點的配置。

http.port: 9200
discovery.zen.ping.unicast.hosts: ["127.0.0.1"]
cluster.name: elasticsearch_hobbes ## note this cluster name must be same for all the es nodes in the same cluster
node.name: "elasticsearch_001_master"// give 002 for other master node
node.master: true
**node.data: false (This master node will not hold the data)**
path.data: /usr/local/var/elasticsearch/
path.logs: /usr/local/var/log/elasticsearch/
discovery.zen.ping.multicast.enabled: false

下面是數據節點的配置。

cluster.name: elasticsearch_hobbes
node.name: "node2"
node.master: false
node.data : true
http.port: 9201
discovery.zen.ping.multicast.enabled: false
script.engine.groovy.inline.aggs: on
discovery.zen.ping.unicast.hosts: ["127.0.0.1"]

然后，您可以通過單擊http：// localhost：9200 / _plugin / kopf /＃！/ cluster轉到主節點的KOPF plugin ，然后看到以下屏幕，其中顯示了群集中的所有三個節點。

注意：-請按照https://github.com/lmenezes/elasticsearch-kopf安裝KOPF插件。 如果您在設置集群時遇到任何問題，請告訴我。