文件存储在大小为260 MB的 HDFS 中，而 HDFS 默认块大小为64 MB 。 针对该文件执行 map-reduce 作业后，我发现它创建的输入拆分数仅为4 。 是怎么计算的。？ 剩下的4 MB在哪里？ 任何输入都非常感谢。 ...
我有一个300mb的文本文件，块大小为128mb。 因此总共将创建3个块128 + 128 + 44 mb。 纠正我-对于map减少，默认输入分割与可配置的128mb块大小相同。 现在，记录读取器将读取每个拆分并创建键值对（键是偏移量，值是单行）。 （TextInputFormat）问题 ...
我刚刚开始学习Mapreduce，并且有一些我想回答的问题。 开始： 1）情况1：FileInputFormat作为输入格式。 输入路径是包含多个文件要处理的目录。 如果我有n个文件，则所有文件都小于hadoop集群中的块大小。 为map reduce Job计算出多少个分割？ ...
第一个问题：我想知道Splits是否以任何方式更改块（即更改大小，将块移动到另一个位置，创建新块，......）。 第二个问题：我认为拆分不会改变块，但是它指定了每个MapTask应该存在的位置并在集群上运行以获取数据或机架感知的位置，因为DataNode已经在运行并且正在拥有块，所以我认 ...
我使用Spyder Python 3.5编写此代码并尝试运行它。 但是，此代码不起作用。 它揭示了“（1）var1，var2 = input（”输入两个数字a和b（0-9）：“）。split（''）;（2）TypeError：'str'对象不可调用” ...
我的文件大小为 100 MB，默认块大小为 64 MB。 如果我不设置输入分割大小，默认分割大小将为块大小。 现在分割大小也是 64 MB。 当我将此 100 MB 文件加载到 HDFS 时，100 MB 文件将分成 2 个块。 即，64 MB 和 36 MB。 例如下面是大小为 100 MB 的 ...
示例来说明问题- 我有一个大小为500MB的文件（input.csv） 该文件中仅包含一行（记录） 那么如何将文件存储在HDFS块中以及如何计算输入拆分？ ...
如果输入文件大小为200MB，则每个输入拆分将有4个块，但是每个数据节点上都将运行一个映射器。 如果所有4个输入拆分都在同一数据节点中，那么将仅执行一个映射任务？ 或映射任务的数量如何取决于输入拆分？ 任务跟踪程序还会在集群中的所有数据节点上运行，作业跟踪程序是否在集群中的一个数据节点 ...
如果我有1GB的压缩文件可拆分，默认情况下块大小和输入拆分大小为128MB，则创建8个块，分割8个输入。 当通过map reduce读取压缩块时，它是未压缩的，并且在解压缩后说块的大小变为200MB。 但是这个分配的输入分割是128MB，那么82MB的其余部分是如何处理的。 它是由 ...
我正在处理带有映射的一个文件，以减少文件大小为1Gb，而我在HDFS中的默认块大小为64 MB，因此对于此示例，有多少个输入分割，有多少个映射器？ ...
我扩展了Hadoop的InputSplit类来计算我的自定义输入拆分，但是，当返回特定的HostIP（即datanode IP）作为覆盖的getLocations（）的字符串时，它的Map Task并未在该HostIP上执行在其他主机上执行。不在该特定HostIP上执行该怎么办？ ...
来自Hadoop MapReduce InputFormat接口上的Apache doc： “ [L]基于输入大小的逻辑分割对于许多应用来说是不够的 ，因为要遵守记录边界。在这种情况下，应用程序还必须实现一个RecordReader ，负责尊重记录边界并提供记录。面向单个任务的逻辑In ...
我在一个csv文件中有一个数据集，该数据集在HDFS中占据了两个块，并在两个节点A和B上复制。每个节点都有一个数据集的副本。 当Spark开始处理数据时，我已经看到了Spark如何将数据集作为输入加载的两种方式。 它要么将整个数据集加载到一个节点上的内存中，然后在其上执行大多数任务，要么 ...
我正在使用Jackson来处理Hadoop中成块出现的JSON。 这意味着，它们是按块分割的大文件（在我的问题上是128M，但这并不重要）。 出于效率原因，我需要它进行流式传输（无法在内存中构建整个树）。 我正在混合使用JsonParser和ObjectMapper从我的输入中读取。 ...
我研究了NLineInputFormat的getSplitsForFile（）fn。 我发现为输入文件创建了InputStream，然后每n行创建它的迭代和拆分。 有效率吗？ 特别是在启动映射程序任务之前，此读取操作在1个节点上发生时。 如果1有5gb的文件怎么办。 基本上，这意味着两 ...
考虑这种情况： 我有4个文件，每个文件6 MB。 HDFS块大小为64 MB。 1个block将保存所有这些文件。 它有一些额外的空间。 如果添加了新文件，它将在此处容纳 现在，当按Input format为Map-reduce作业计算input splits时（ spl ...
我能否将整个input split为映射器，而不是将每行input split为映射器。 为此，我需要实现自己的自定义输入格式。 但是如果我正在编写WholeFileInputFormat 这是否意味着映射器将整个行或整个输入拆分？ NLineInputFormat是否可以解 ...
在Wordcount中，似乎每个块可以获得超过1个映射任务，并且关闭推测执行。 jobtracker是否在幕后做了一些魔术来分配比InputSplits更多的任务？ ...
在“ Hadoop-权威指南”中，它说-> 运行该作业的客户端通过调用getSplits（）计算该作业的分割，然后将其发送到jobtracker，该作业使用其存储位置来计划地图任务以在任务追踪器上对其进行处理。 我们知道getLocations（）返回一个主机名数组。 ...
我有一个日志文件如下 我想用mapreduce来处理这个。 我想提取事件ID，状态以及事件所需的时间 如何处理两个记录，因为它们具有可变记录长度以及在记录结束之前输入分割发生的情况。 ...