[英]Run a hadoop cluster on docker containers
我想運行一個多節點hadoop集群，其中每個節點位於不同主機上的docker容器中。 這個圖像 - https://github.com/sequenceiq/hadoop-docker可以很好地在偽分布式模式下啟動hadoop，修改它的最簡單方法是將每個節點放在單獨的ec2主機上的不同容器中嗎？
我使用兩個容器在兩個不同的ubuntu主機上運行主節點和從節點。 我使用編織在容器之間建立了網絡。 我在docker hub account div4上添加了容器的圖像。 我以相同的方式安裝了hadoop，因為它安裝在不同的主機上。 我在這里添加了帶有coomands的兩個圖像來運行haddop：
https://registry.hub.docker.com/u/div4/hadoop_master/ https://registry.hub.docker.com/u/div4/hadoop_slave/ 。
來自sequenceiq的人們創建了一個名為cloud-break的新項目，該項目旨在與不同的雲提供商合作，並輕松地在其上創建hadoop集群。 您只需輸入您的憑據，然后就我所見，它對所有提供商的工作方式都相同。
因此，對於ec2，這現在可能是最簡單的解決方案（特別是因為一個很好的GUI）：
當hadoop和python在不同的docker容器中時，如何從Hadoop集群中/從Hadoop集群中讀取/寫入文件？
[英]How to read/write files with python3 from/in hadoop cluster when hadoop and python are in different docker containers?
在非集群計算機上編譯Hadoop MapReduce並在Hadoop集群上運行
[英]Compile Hadoop MapReduce on non-cluster computer and run on Hadoop cluster
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
