使用Python從JSON文件讀取並寫入CSV

Question

以前，我從CSV文件中讀取數據，並在CSV文件中獲取了我的數據的最小值，最大值和平均值。 我正在嘗試從JSON文件中讀取相同的數據，並將輸出寫入CSV，但是我不知道該怎么做。 任何幫助是極大的贊賞。 我的JSON文件如下：

{
“數據”：[
{
“ time”：“ 2015-10-14 15:01:10”，
“值”：{
“ d1”：3956.58，
“ d2”：0，
“ d3”：19，
“ d4”：6.21，
“ d4”：105.99，
“ d5”：42
“ d6”：59.24
}
}，
{
“ time”：“ 2015-10-14 15:01:20”，
“值”：{
“ d1”：3956.58，
“ d2”：0，
“ d3”：1
“ d4”：0.81，
“ d5”：121.57，
“ d6”：42
“ d7”：59.24
} .. ..

到目前為止，我的代碼是：

 df = pd.read_json('data.json', convert_dates = True) df['time'] = [pd.to_datetime(d) for d in df['time']] df = df.set_index('time') hourly_stats = d.groupby(pd.TimeGrouper('H')) print((hourly_stats).agg([np.mean, np.min, np.max])) ((hourly_stats).agg([np.mean, np.min, np.max])).to_csv('file.csv') 

Answer 1

首先，您的JSON不正確。 對其進行更正，並在使用前進行驗證 。 之后，您可以執行以下操作以在python中獲取數據：

    import json
    fp =open('/path/tp/my/file')
    mystr = fp.read()
    fp.close()
    data = json.loads(mystr)

Answer 2

我稍微修改了您的JSON字符串，並添加了另一條記錄以具有不同的“小時”組。

import pandas as pd
import numpy as np
import json

jsondata = '''{
"data": [
{
"time": "2015-10-14 15:01:10",
"values": {
"d1": 3956.58,
"d2": 0,
"d3": 19,
"d4": 6.21,
"d5": 105.99,
"d6": 42,
"d7": 59.24
}
},
{
"time": "2015-10-14 15:01:20",
"values": {
"d1": 3956.58,
"d2": 0,
"d3": 1,
"d4": 0.81,
"d5": 121.57,
"d6": 42,
"d7": 59.24
}
},
{
"time": "2015-10-14 16:01:20",
"values": {
"d1": 31956.58,
"d2": 0,
"d3": 1,
"d4": 0.81,
"d5": 121.57,
"d6": 42,
"d7": 59.24
}
}
]
}
'''

data = json.loads(jsondata)['data']
#If your JSON data is in a file, then do:
#data = json.load(jsonfile)['data']  

df = pd.DataFrame(data=[record['values'] for record in data], 
                  index=pd.DatetimeIndex([record['time'] for record in data], name='time'))


print df

print df.groupby(pd.Grouper(freq='H')).agg([np.mean, max, min])

輸出（ df ）：

                           d1  d2  d3    d4      d5  d6     d7
time                                                          
2015-10-14 15:01:10   3956.58   0  19  6.21  105.99  42  59.24
2015-10-14 15:01:20   3956.58   0   1  0.81  121.57  42  59.24
2015-10-14 16:01:20  31956.58   0   1  0.81  121.57  42  59.24

輸出統計：

                           d1                       d2           d3          \
                         mean       max       min mean max min mean max min   
time                                                                          
2015-10-14 15:00:00   3956.58   3956.58   3956.58    0   0   0   10  19   1   
2015-10-14 16:00:00  31956.58  31956.58  31956.58    0   0   0    1   1   1   

                       d4  ...              d5                   d6          \
                     mean  ...     min    mean     max     min mean max min   
time                       ...                                                
2015-10-14 15:00:00  3.51  ...    0.81  113.78  121.57  105.99   42  42  42   
2015-10-14 16:00:00  0.81  ...    0.81  121.57  121.57  121.57   42  42  42   

                        d7                
                      mean    max    min  
time                                      
2015-10-14 15:00:00  59.24  59.24  59.24  
2015-10-14 16:00:00  59.24  59.24  59.24  

[2 rows x 21 columns]

直接使用pd.read_json似乎不起作用，因為生成的數據幀具有意外的結構， pd.read_json 。

Answer 3

如您所見，“數據”實際上是一個數組，請查看它后面的方括號。 因此，您需要先進入數組的成員，然后再進入時間。 因為它被截斷了，所以我將假設數組的所有成員都是相同的。 因此，要訪問該目錄，您將需要諸如data [0] ['time']之類的內容

Answer 4

好吧，您的實際代碼和您對要執行的操作的描述似乎有些不同。 希望這會有所幫助，您所需要做的就是重新定義標頭，並將您的業務邏輯粘貼在“ json_to_dict”函數中，您應該一切順利。

import json
import csv


def to_csv(json_obj, fname='my_csv.csv'):
    with open(fname, 'w') as f:
        to_write = json_to_writable_dict(json_obj)

        fieldnames = ['time'] + ['d{}'.format(i) for i in range(1, 8)]
        writer = csv.DictWriter(f, fieldnames=fieldnames)
        writer.writeheader()
        for row in to_write:
            writer.writerow(row)

    return fname

def json_to_writable_dict(json_obj):
    data, values, time = 'data', 'values', 'time'
    json_dict = dict(json_obj)
    to_write = []
    for item in json_dict[data]:
        row = {'d{}'.format(i): item[values]['d{}'.format(i)] for i in range(1, 8)}
        row.update({'time': item[time]})
        to_write.append(row)
    return to_write

def main():
    s = '''{
"data": [
{
  "time": "2015-10-14 15:01:10",
  "values": {
    "d1": 3956.58,
    "d2": 0,
    "d3": 19,
    "d4": 6.21,
    "d5": 105.99,
    "d6": 42,
    "d7": 59.24
  }
},
{
  "time": "2015-10-14 15:01:20",
  "values": {
    "d1": 3956.58,
    "d2": 0,
    "d3": 1,
    "d4": 0.81,
    "d5": 121.57,
    "d6": 42,
    "d7": 59.24
  }
}
]
}'''

    json_thing = json.loads(s)
    csv_name = to_csv(json_obj=json_thing)

    with open(csv_name) as f:
        print(f.read())

if __name__ == '__main__':
    main()