Python3從txt文件中的URL下載csv文件

Question

下面的代碼將從 URL 解析 JSON 以檢索 10 個 url 並將它們放在 output.txt 文件中。

import json
import urllib.request

response = urllib.request.urlopen('https://json-test.com/test').read()
jsonResponse = json.loads(response)
jsonResponse = json.loads(response.decode('utf-8'))
for child in jsonResponse['results']:
    print (child['content'], file=open("C:\\Users\\test\\Desktop\\test\\output.txt", "a"))

現在 output.txt 中有 10 個指向 csv 文件的鏈接，我想弄清楚如何下載和保存這 10 個文件。 嘗試做這樣的事情但沒有工作。

urllib.request.urlretrieve(['content'], "C:\\Users\\test\\Desktop\\test\\test1.csv")  

即使我得到了上面的工作，它也只是 1 個文件，output.txt 中有 10 個文件鏈接。 有任何想法嗎？

Answer 1

這是有關如何通過 http 下載文件的詳盡指南。

如果文本文件每行包含一個鏈接，您可以像這樣遍歷各行：

file = open('path/to/file.ext', 'r')
id = 0
for line in file:
   # ... some regex checking if the text is actually a valid url
   response = urllib.request.urlretrieve(line, 'path/to/file' + str(id) + '.ext')
   id+=1