如何使用Ruby在Hadoop HDFS中编写和读取文件？

Question

有没有办法使用Ruby使用HDFS Api？ 据我所知，没有多语言文件Api，唯一的方法是使用本机Java Api。 我尝试使用JRuby，但这个解决方案是不稳定的，而不是非常原生的。 另外我看了HDFS Thrift Api，但它不完整，也缺少很多功能（比如写入索引文件）。

除了使用JRuby或Thrift Api之外，有没有办法使用Ruby使用HDFS？

Answer 1

github中有两个项目符合您的要求。 ruby-hdfs为Ruby的HDFS提供本机C绑定。 ganapati与Thrift服务器接口。

您还可以直接对文件系统shell进行系统调用。 例如：

cmd = "hadoop fs -mkdir #{hdfs_path}"
cmd += " 2> /dev/null"
system(cmd)
if $? == 0
  puts 'ok'
  exit(0)
else
  puts "Error: failed to create hdfs://#{hdfs_path}"
  exit(2)
end