从 API 下载 csv 数据

Question

我正在尝试从 API 下载 csv 数据，然后我将对其进行编辑我正在努力使不同的功能协同工作。

即通过导出链接下载文件，然后通过打开它。

    '''
File name: downloadAWR.py
Author: Harry&Joe
Date created: 3/10/17
Date last modified: 5/10/17
Version: 3.6
'''

import requests
import json
import urllib2
import zipfile
import io
import csv
import os
from urllib2 import urlopen, URLError, HTTPError

geturl() 用于为 csv 数据创建下载链接，在这种情况下，将使用用户输入数据创建一个链接，即名称和日期，然后将创建一个链接，我们可以使用它来下载数据。 链接存储在 export_link 中

def geturl():

#getProjectName
project_name = 'BIMM'

#getApiToken
api_token = "API KEY HERE"

#getStartDate
start_date = '2017-01-01'

#getStopDate
stop_date = '2017-09-01'

url = "https://api.awrcloud.com/get.php?action=export_ranking&project=%s&token=%s&startDate=%s&stopDate=%s" % (project_name,api_token,start_date,stop_date)

export_link = requests.get(url).content

return export_link

dlfile 用于实际使用链接获取我们可以操作和编辑的文件，例如删除列和一些数据。

def dlfile(export_link):
# Open the url
try:
    f = urlopen(export_link)
    print ("downloading " + export_link)

    # Open our local file for writing
    with open(os.path.basename(export_link), "wb") as local_file:
        local_file.write(f.read())

#handle errors
except HTTPError as e:
    print ("HTTP Error:", e.code, export_link)
except URLError as e:
    print ("URL Error:", e.reason, export_link)

return f

readdata 用于进入文件并打开它供我们使用。

def readdata():
    with zipfile.ZipFile(io.BytesIO(zipdata)) as z:
        for f in z.filelist:
            csvdata = z.read(f)

#reader = csv.reader(io.StringIO(csvdata.decode()))



def main():
#Do something with the csv data

    export_link = (geturl())


    data = dlfile(export_link)

    csvdata = data.readdata()



if __name__ == '__main__':
    main()

一般来说，我发现代码可以独立工作，但是当我尝试将它们同步地放在一起时会遇到困难。

Answer 1

您需要清理并适当地调用您的代码。 似乎您从不同来源复制粘贴，现在您有一些混合不好的代码沙拉碗。

如果任务只是读取和打开远程文件以对其执行某些操作：

import io
import zipfile
import requests

def get_csv_file(project, api_token, start_date, end_date):
   url = "https://api.awrcloud.com/get.php"
   params = {'action': 'export_ranking',
             'project': project,
             'token': api_token,
             'startDate': start_date,
             'stopDate': end_date}

   r = requests.get(url, params)
   r.raise_for_status()

   return zipfile.ZipFile(io.BytesIO(request.get(r.content).content))

def process_csv_file(zip_file):
    contents = zip_file.extractall()
    # do stuff with the contents

if __name__ == '__main__':
   process_zip_file(get_csv_file('BIMM', 'api-key', '2017-01-01', '2017-09-01'))