具有遠程部署的Hadoop鍵值存儲
[英]Hadoop Key-Value store with remote deploy
問題描述
我的應用程序是通過使用Kerberos keytab和主體通過yarn-cluster模式下的spark-submit通過spark-submit從遠程pc啟動的，該指南如下： https : //spark.apache.org/docs/latest/running-on-yarn.html 。 這種方法的優點是，我在任何群集上都有自己的spark版本。
是否可以僅通過運行具有HADOOP_CONF_DIR / YARN_CONF_DIR配置的bash腳本來自動部署具有隨機訪問權限的Ignite / Hazelcast / Accumulo / Kudu或其他NoSQL DB，而無需對sftp / ssh進行讀寫就可以對Hadoop YARN集群進行隨機訪問？
1 個解決方案
解決方案1
0 2017-12-18 05:35:07
在YARN群集上部署Hazelcast是可能且容易的，請查看https://github.com/hazelcast/hazelcast-yarn
使用Scala / Python將大量SQL表中的產品數據合並並提取到Hadoop鍵值存儲中
[英]Merge and extract product data from numerous SQL tables to Hadoop key-value store with Scala / Python
如何在Hadoop流中將unprintable指定為鍵值分隔符
[英]How to specify unprintable as the key-value delimiter in Hadoop streaming
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.