使用Python網絡抓取下載許多文件

Question

如果我有指向Yahoo Finance上CSV的鏈接： http : //ichart.finance.yahoo.com/table.csv?s=LOW&d=4&e=29&f=2014&g=d& a=8&b=22& c=1981&ignore=.csv

如何編寫網絡抓取工具，以根據符號列表下載多個文件： [LOW, SPY, AAPL]

from StringIO import StringIO 
from urllib2 import urlopen

for symbol in symbols:
    f = urlopen ('http://www.myurl.com'+symbol+'therestoftheurl')
    p = f.read()
    d = StringIO(p)
    f.close

我需要將url的內容寫入文件，還是將其自動下載到目錄中？

Answer 1

您可以使用以下方法下載文件：

import urllib2

file_name = "myfile.xyz"
u = urllib2.urlopen(url)
f = open(file_name, 'wb')

block_sz = 4096
while True:
    buffer = u.read(block_sz)
    if not buffer:
        break
    f.write(buffer)

f.close()