具有远程部署的Hadoop键值存储
[英]Hadoop Key-Value store with remote deploy
问题描述
我的应用程序是通过使用Kerberos keytab和主体通过yarn-cluster模式下的spark-submit通过spark-submit从远程pc启动的，该指南如下： https : //spark.apache.org/docs/latest/running-on-yarn.html 。 这种方法的优点是，我在任何群集上都有自己的spark版本。
是否可以仅通过运行具有HADOOP_CONF_DIR / YARN_CONF_DIR配置的bash脚本来自动部署具有随机访问权限的Ignite / Hazelcast / Accumulo / Kudu或其他NoSQL DB，而无需对sftp / ssh进行读写就可以对Hadoop YARN集群进行随机访问？
1 个解决方案
解决方案1
0 2017-12-18 05:35:07
在YARN群集上部署Hazelcast是可能且容易的，请查看https://github.com/hazelcast/hazelcast-yarn
使用Scala / Python将大量SQL表中的产品数据合并并提取到Hadoop键值存储中
[英]Merge and extract product data from numerous SQL tables to Hadoop key-value store with Scala / Python
如何在Hadoop流中将unprintable指定为键值分隔符
[英]How to specify unprintable as the key-value delimiter in Hadoop streaming
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.