我有一组带前缀的（根据 S3 性能建议）镶木地板文件，我想在 spark 中加载（使用 Amazon EMR 5.11.1）但是 列出与 glob 匹配的文件集所花费的时间比非前缀文件慢得多，这可以改进吗？ 如何避免以下错误？ ...

我的目录包含多个文件夹，每个目录中包含N个文件。 单个文件大小为15 GB。 我不知道将文件从本地复制/移动到HDFS的最佳方法是什么。 ...

我一直在寻找将 Parquet 文件从 S3 加载（基本上是空的和恢复的）到 DynamoDB 的选项。 Parquet 文件本身是通过在 EMR 集群上运行的 spark 作业创建的。 这里有几件事要记住， 我无法使用 AWS 数据管道 文件将包含数百万行（比如 1000 万行），因此需 ...

我构建了一个小型数据管道，将一些虚构的测试数据从本地目录（json 格式）移动到 hdfs（avro 格式）。 这似乎工作正常（flume 没有显示错误），但错误可能已经出现在这里。 下一步是使用 databricks 加载器（我只能为此找到 python 库）将 avro 文件转换为一些 pysp ...

我想经常将文件从文件服务器加载到HDFS。 较小的文件（2 MB至20 MB）会经常加载到文件服务器中。 这些文件必须加载到HDFS中以进行MR处理。 在将这些文件提供给Map-Reduce作业之前，我看到了2个问题。 如果在运行MR作业时选择了这些文件并将其加载到HDFS ...

我有使用 GZIP 压缩的 20 亿条记录的镶木地板文件和使用 SNAPPY 压缩的相同数据。 另外，我有相同 20 亿条记录的分隔文件。 我们在 AWS prod 中有 72 个 Vertica 节点，当使用 COPY 命令将数据从 s3 移动到 Vertica 而不是分隔文件时，我们看到镶木地板 ...

我们有一个Apache Spark 1.4.0集群，我们希望从HDFS的一组350个镶木文件中加载数据。 当前，当我们尝试运行我们的程序时，我们得到了“ OutOfMemory Error”驱动程序端。 对执行程序和驱动程序进行性能分析时，我们注意到在操作期间，当驱动程序内存不断增加时，执行 ...

我知道我可以使用pyarrow.hdfs.connect()通过 pyarrow 连接到 HDFS 集群 我也知道我可以使用pyarrow.parquet的read_table()读取镶木地板文件 但是， read_table()接受文件路径，而hdfs.connect()给我一个HadoopFil ...

目前我可以用Java读写HDFS文件，但是除了hdfs之外我不知道如何读取apache木地板文件，我的想法是能够用java读写这两个文件 } 请帮我！！！ 谢谢！！ ...

我需要在R程序中读取存储在HDFS（我有一个受Kerberos保护的Hadoop群集）上的镶木地板文件。 我遇到了几个包，但没有一个完全满足我的需求 rhadoop ：看起来像是一个旧项目，没有进一步的开发。 这些库下的rhdfs软件包不支持Parquet文件或Kerberos。 ...