使用python快速下载文件

Question

我目前正在尝试从超过80万个网址下载文件。 每个网址代表.txt文件。

我正在使用数据框存储所有

网址信息：

index       Filename                                         
4           .../data/1000015/0001104659-05-006777.txt
5           .../data/1000015/0000950123-05-003812.txt
......

码：

  for i in m.index:
     download = 'ftp:/.../' + m['Filename'][i]
     print download
     urllib.urlretrieve(download, '%s''%s.txt' % (m['Co_name'][i], m['Date'][i]))

此方法有效，但是速度很慢，它在7分钟内下载了15个文件。 考虑到我有超过800,000个文件。 超过9个月了...所以我想知道有人能帮助我改善这一点吗？ 非常感谢。

---

在发表了一些非常有帮助的评论之后，我做了一些更改，以下是进行多处理的好方法吗？

码：

def download(file):
  import ftplib
  ftp = ftplib.FTP('XXXX')
  ftp.login()
  for i in m.index:
  a = m['Filename'][i]
  local_file = os.path.join("local_folder", '%s %s.txt' % (m['Co_name'][i], m['Data'][i]))
  fhandle = open(local_file,'wb')
  print fhandle
  ftp.retrbinary('RETR '+a, fhandle.write)
  fhandle.close()

m=pd.read_csv('XXXX.csv', delimiter=',', index_col='index')

pool = Pool(10)
pool.map(download, m)

Answer 1

这样，您可以为每个文件建立一个新的连接。 这意味着对于没有下载任何文件的每个文件，您将损失几秒钟。

您可以使用ftplib（ https://docs.python.org/2/library/ftplib.html ）减少这种情况，它允许建立单个连接并通过该连接一个接一个地检索文件。

仍然有一段时间没有数据传输。 要使用最大带宽，请使用线程并行下载多个文件。 但是请注意，某些服务器会限制并行连接的数量。

但是，时间开销不应超过几秒钟，在最坏的情况下可以说为5。 然后，对于100kB文件，大约25秒非常慢。 我想您的连接速度很慢，或者服务器速度很慢。 如果不是标准方式的FTP，在连接终止时是否可以关闭主机的FTP服务器，在建立连接时是否可以启动？ 然后，FTPlib应该可以提供帮助。 不过，半秒的开销意味着等待400.000秒。 因此，并行下载很有意义。

可能是，您首先尝试使用FTP客户端（例如filezilla），然后检查它可以使用哪种带宽。