繁体   English   中英

如何从 R 中的 HDFS 读取镶木地板文件

[英]How to read parquet files from HDFS in R

我需要在我的 R 程序中读取存储在 HDFS 上的镶木地板文件(我有一个受 Kerberos 保护的 Hadoop 集群)。 我遇到了几个包,但没有一个能完全满足我的需要

  • rhadoop :它看起来像一个没有进一步开发的旧项目。这些库下的rhdfs package 不支持 parquet 文件或 Kerberos。
  • 箭头:它似乎可以读取镶木地板文件,但与 HDFS 没有连接

是否有任何其他库可以让我从 R 中的 HDFS 读取镶木地板文件?

我知道 sparklyr,但我相信我需要在运行 spark 驱动程序的机器上安装 spark? 那是对的吗? 我的 R 客户端是另一台机器。

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM