繁体 English 中英

Hadoop-将数据从HTTP上传（PUT）直接流式传输到HDFS

[英]Hadoop - streaming data from HTTP upload (PUT) into HDFS directly

原文 2013-07-25 19:29:34 1 2 hadoop/ hdfs

我有以下应用程序部署

Web前端通过HTTP / FTP从客户端获取数据
Hadoop集群

我需要在HDFS上存储客户端的数据。 最好的方法是什么？ 是否可以直接将数据流传输到HDFS，而无需使用本地驱动器上来自客户端的所有数据，然后将其放入HDFS？

2 个解决方案

我现在可以想到的可行方案是：

根据您的方便和轻松，选择“最佳”解决方案完全取决于您。

就个人而言，如果要低延迟访问HDFS，最好的选择是HBase。 您可以轻松地放置和获取值，因为它只是键值存储。 我们在我们的应用程序中使用了相同的东西，并且效果很好。

将Facebook数据流式传输到Hadoop HDFS

[英]Streaming facebook data into Hadoop HDFS

从Hadoop流中读取HDFS上的快照压缩数据

[英]Read Snappy Compressed data on HDFS from Hadoop Streaming

Hadoop-将数据集从外部直接复制到HDFS

[英]Hadoop - copy dataset from external to HDFS directly

大数据Hadoop HDFS-put命令

[英]Big data Hadoop HDFS - put command

从hadoop HDFS数据中搜索

[英]Search from hadoop hdfs data

Hadoop-从本地到HDFS的递归复制/放置

[英]Hadoop - Recursive copy/put from local to HDFS

Python和Hadoop-使用python直接获取数据并将其直接写入hdfs？

[英]Python and Hadoop - fetch and write data directly to hdfs using python?

如何配置Apache Flume 1.4.0从Twitter获取数据并放入HDFS（Apache Hadoop版本2.5）？

[英]How to configure Apache Flume 1.4.0 to fetch data from Twitter and put in HDFS (Apache Hadoop version 2.5)?

无法将数据从HDFS加载到Hadoop中的Hive

[英]Not able to load data from HDFS to Hive in Hadoop

如何验证从RDB到Hadoop HDFS的数据

[英]how to validate the data from RDB to Hadoop HDFS

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 将Facebook数据流式传输到Hadoop HDFS 从Hadoop流中读取HDFS上的快照压缩数据 Hadoop-将数据集从外部直接复制到HDFS 大数据Hadoop HDFS-put命令从hadoop HDFS数据中搜索 Hadoop-从本地到HDFS的递归复制/放置 Python和Hadoop-使用python直接获取数据并将其直接写入hdfs？如何配置Apache Flume 1.4.0从Twitter获取数据并放入HDFS（Apache Hadoop版本2.5）？无法将数据从HDFS加载到Hadoop中的Hive 如何验证从RDB到Hadoop HDFS的数据

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM