[英]MongoDB data processing using Java
嗨,我的mongo收集如下
{
"command":{
"top -n 1 b":"top - 10:53:01 up 1:25, 6 users, load average: 0.31, 0.39, 0.35
Tasks: 228 total, 1 running, 227 sleeping, 0 stopped, 0 zombie
Cpu(s): 9.9%us, 1.7%sy, 0.0%ni, 87.1%id, 1.2%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 3795988k total, 3648196k used, 147792k free, 71016k buffers
Swap: 3932152k total, 0k used, 3932152k free, 975424k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
3464 root 20 0 380m 83m 6708 S 3.2 2.3 8:22.56 skype
1741 root 20 0 0 0 0 S 1.6 0.0 0:02.89 kondemand/2
3084 root 20 0 433m 13m 9.9m S 1.6 0.4 0:02.53 metacity
3415 root 20 0 1190m 292m 42m S 1.6 7.9 12:57.92 firefox
3711 root 20 0 3453m 560m 34m S 1.6 15.1 4:25.03 java
6375 root 20 0 15028 1200 832 R 1.6 0.0 0:00.11 top "
}
}
現在我下面的Java代碼使用的地圖縮減功能是我的Java代碼
String map ="function () {"+
"emit({hostid:this._id},{commands:this.command});}}}";
String reduce = "function (key, values) { var reduced = {top:[]};"+
"for(var i =0 ; i< values.length;i++){"+
"reduced.top=values[i].commands['top -n 1 -b']"+
"}"+
"return reduced;}";
MapReduceCommand cmd = new MapReduceCommand(collection, map, reduce,
null, MapReduceCommand.OutputType.INLINE, null);
MapReduceOutput out = collection.mapReduce(cmd);
for (DBObject o : out.results()) {
System.out.println(o.toString());
}
現在,此打印與密鑰相關的所有信息,現在我想將此信息放入以下格式的新集合中
{
"PID":3464,
"USER":root,
"PR" : 20,
"%CPU":3.2,
"%MEM":2.3,
"COMMAND":skype
}
那么可以使用map減少這件事嗎?還是在這里我使用了傳統的Java字符串操作?
您將要從數據中提取並解析各個“頂部”輸出行。 這是正則表達式的工作。 用Java很容易做到。 我不明白為什么要使用MapReduce -輕松地一次從數據庫中一次讀取一條記錄中的原始“頂部”數據,在客戶端中進行解析和轉換,然后將結果寫入一個新的收藏。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.