Hadoop Mapreduce python命令行參數

Question

在我的python映射器代碼中，我需要訪問-input'path'中給定的'path'。 如何在python代碼中訪問它？

Answer 1

您可以從os.environ讀取輸入文件。 例如，

import os
input_file = os.environ['map_input_file']

實際上，您還可以從os.environ閱讀其他JobConf。 注意：在執行流作業期間，將轉換“ mapred”參數的名稱。 點（。）變成下划線（_）。 例如，mapred.job.id變為mapred_job_id，而mapred.jar變為mapred_jar。 要在流作業的映射器/縮減器中獲取值，請在參數名稱下加上下划線。 請參閱配置的參數 。

我還為您找到了非常有用的文章： Hadoop Python框架指南 。