繁体   English   中英

使用 Python 的 Wordcount 错误

Wordcount error using Python

提示:本站收集StackOverFlow近2千万问答,支持中英文搜索,鼠标放在语句上弹窗显示对应的参考中文或英文, 本站还提供   中文繁体   英文版本   中英对照 版本,有任何建议请联系yoyou2525@163.com。

我正在使用以下命令在 hadoop 中运行字数统计程序

hadoop jar /usr/lib/hadoop-0.20-mapreduce/contrib/streaming/hadoop-streaming.jar -file /home/Hadoop/Python/mapper.py -mapper mapper.py  -file /home/Hadoop/Python/reducer.py -reducer reducer.py -input "/Hadoop/Hive.txt" -output "/Hadoop/output.txt"

以下错误导致程序失败

引起:java.io.IOException:无法运行程序“/var/lib/hadoop-yarn/cache/yarn/nm-local-dir/usercache/root/appcache/application_1427776730247_0008/container_1427776730247_0008_01_00000”:error./mapper. =2, 没有那个文件或目录

我认为这些是创建的运行时目录,纱线对此目录具有读写权限。

我是否需要手动更改这些目录的权限并将映射器和化简器文件放在那里?

问题暂未有回复.您可以查看右边的相关问题.
3 使用python中的wordcount计算特定单词的总和

我在Python中使用标准的mapper和reducer。 我不想计算每个单词,而是想计算一个特定的单词,例如“ Alfred”。 当我从输出中对Alfred进行grep时,我得到如下信息: 阿尔弗雷德-说1 阿尔弗雷德-告诉2 不是-Alfred 1 而这样的例子不胜枚举。 如何更改标准map ...

6 SPARK STREAMING(PYTHON)中的%wordcount

在下一个示例中,我从Kafka收到一个序列字: 我的目标是计算每个单词的历史百分比。 我将有两个RDD,一个具有历史单词计数,另一个具有所有单词总数: 现在,我试图除以:(((每个键的历史值)/ totalNo)* 100以得到每个单词的百分比: 但是我得到了错误: ...

7 Python csv 字数统计到列

我很抱歉我已经从头开始尝试了四天。 我正在尝试使用 csv 并添加一个带有字数统计的列。 每行都有自己的计数(特别是第 10 列)。 我尝试了多种方法、图书馆和熊猫。 我还与知道如何编程的家人一起工作,他们似乎被难住了。 我会接受我能得到的任何帮助。 语言是python。 ...

9 Spark Kafka WordCount Python

我刚刚开始使用Apache Spark,并尝试让kafka wordcount在python中工作。 我已经决定使用python作为它的语言,我可以将其用于其他大数据技术,而且DataBricks也通过spark提供课程。 我的问题:我正在从这里运行基本的单词计数示例: https : ...

10 python中的Mapreduce wordcount

好吧,我是mapreducer程序的新手。 因此,当我搜索mapreducer程序的示例时​​,我得到的只是字数统计程序。 所有与字数统计相关的程序均使用文本文件作为输入。 我尝试使用csv文件作为输入,而reducer无法正常工作,因为它适用于文本文件。 http://www.mich ...

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2022 STACKOOM.COM