在AWS EMR上的MapReduce代码中导入自定义函数

Question

我已经为此奋斗了2个小时！

我在python中创建了一个映射器脚本，该脚本在其他python脚本中导入了我的自定义函数之一。

    #!/usr/bin/env python
    import sys

    import testImport

    for line in sys.stdin:
        if line and line!='':
            words = line.strip().lower().split('\t')
            print '%s\t%s' % (words[0].strip(),testImport.age_classify(int(words[1])))

该代码在我的终端上运行良好。...问题是当我将此映射器功能上传到AWS Elastic MapReduce时。 我的工作失败，并显示错误消息“无法导入模块testImport”。

testImport是一个文件“ testImport.py”，其中包含我的一些帮助函数（例如age_classify函数），我需要在标准输入的每一行上进行操作。

我将脚本与映射器脚本（给定脚本）存储在同一存储桶中。

当我添加“流式程序”步骤时，我试图在参数部分传递它。 即使看到所有相关问题，我也不知道该怎么办。

我该如何完成？？？

任何帮助都将非常棒！

谢谢！

Answer 1

如您所说，我已将testImport.py与map / reduce脚本存储在同一存储桶中。 除非您指定，否则无法从该存储桶读取EMR。

对于java，我们在fatjar上为所有相关类创建了代码，并创建了一个jar文件并执行它。 对于您的python脚本，请尝试创建单个地图脚本和reducer脚本并运行它。