電子郵件和地圖減少工作
[英]Emails and Map Reduce Job
問題描述
我只是從Hadoop開始，然后編寫一些Map Reduce作業。 我正在尋找有關在python中編寫MR作業的幫助，該作業使我可以接收一些電子郵件並將其放入HDFS，以便我可以搜索電子郵件的文本或附件？
謝謝！
2 個解決方案
解決方案1
3 2012-04-13 16:11:05
對於處理電子郵件，來自stdlib的email模塊可能會很方便。 對於Hadoop而言，盡管有很多Google搜索結果可供選擇，但將Python與Hadoop結合使用可能會很方便。
解決方案2
1 2012-04-13 16:49:59
是的，如果要使用編寫Python代碼來運行MapReduce作業，則需要使用hadoop流
如何在 Python 中使用 mrjob 將 Reduce Side Join 作為 Map Reduce 作業進行
[英]How to do a Reduce Side Join as a Map Reduce Job with mrjob in Python
Hadoop Streaming Job-python停留在map 0％時減少了CDH4.5中的0％
[英]Hadoop Streaming Job - python stuck at map 0% reduce 0% in CDH4.5
如何處理URISyntaxException：Hadoop Map Reduce作業路徑中的非法字符？
[英]How to deal with URISyntaxException: Illegal character in path in Hadoop Map Reduce job?
帶有security.UserGroupInformation的map-reduce作業的Hadoop錯誤：PriviledgedActionException（沒有這樣的文件或目錄）
[英]Hadoop error with map-reduce job with security.UserGroupInformation: PriviledgedActionException (no such file or directory)
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
Python Map Reduce Mr工作
如何在 Python 中使用 mrjob 將 Reduce Side Join 作為 Map Reduce 作業進行
Hadoop Streaming Job-python停留在map 0％時減少了CDH4.5中的0％
如何處理URISyntaxException：Hadoop Map Reduce作業路徑中的非法字符？
帶有security.UserGroupInformation的map-reduce作業的Hadoop錯誤：PriviledgedActionException（沒有這樣的文件或目錄）
結合地圖和減少
帶圖約簡的算法圖
火花減少和地圖問題
使用 map 減少 pyspark
Python Map減少
相關標簽