繁体   English   中英

如何在Google Colab上上传和使用大型zip文件进行深度学习

How to upload and use large zip files on google colab for deep learning

提示:本站收集StackOverFlow近2千万问答,支持中英文搜索,鼠标放在语句上弹窗显示对应的参考中文或英文, 本站还提供   中文繁体   英文版本   中英对照 版本,有任何建议请联系yoyou2525@163.com。

我有一个可以使用zip文件中的数据的模型。 我已将数据集上载到google驱动器,并将其安装在Collab上,但是当我尝试加载zip文件时,它会引发错误“ BadZipFile:不支持跨越多个磁盘的zipfiles”。 我也将zip文件复制到了本地磁盘并尝试了,并且抛出了同样的错误? 我应该注意该文件超过10GB。 提前致谢

from google.colab import drive
from zipfile import ZipFile

drive.mount('/content/gdrive')

!cp "/content/gdrive/MyDrive/All of them.zip" "allofthem"

file_name = '/content/sample_data/allofthem.zip'

with ZipFile(file_name, 'r') as zip:
  zip.extractall()
  print('Done')
问题暂未有回复.您可以查看右边的相关问题.
1 谷歌 Colab 上的深度学习:加载大型图像数据集很长,如何加速这个过程?

我正在使用 Keras 开发深度学习模型并加速计算,我想使用 google colab 上可用的 GPU。 我的图像文件已经加载到我的谷歌驱动器上。 我有 24000 张图像用于训练 4000 张图像以测试我的模型。 但是,当我将图像加载到数组中时,需要很长时间(将近 2 小时),因此每次使用 ...

2 如何在 Colab 上使用 TPU 迁移学习

我正在尝试在 Colab 上使用 Tensorflow 2 自学迁移学习技术。 使用 GPU 工作正常,但众所周知,谷歌有它的 TPU,它们比 GPU 更快。 在 Colab 中,当我将“类型”从 GPU 切换到“TPU”时,我将 --use_tpu=true 添加到下面的命令中 此脚本可在 ...

4 使用 Python 将大型 zip 文件上传到网站

我有以下问题:我需要将大型 .zip 文件(通常 >500MB,最大约 5GB)上传到网站,然后处理这些文件。 我在 Windows 32 位的Python 2.7.16执行此操作。 遗憾的是,由于公司限制,我无法更改我的设置(从 32 位到 64 位),也无法安装其他 Python 插件(我 ...

5 使用python进行深度学习

我试图用 Python 为我的硕士论文编写深度学习书中的代码,但是发生了一个错误,例如“列表”对象没有属性“形状”。下面是代码,如果有人可以处理它,我会很高兴 ...

2021-06-10 14:29:54 0 23   python
6 使用向量进行深度学习

我建立了一个没有隐藏层的网络。 如下所示,我使用了带有 Sigmoid 的激活函数和带有 MSE 的错误函数。 使用的数据集是来自 Kaggle 的 Titanic 数据集,我已经对数据进行了预处理。 模型的误差函数不断增加。 如何正确更新权重以减少误差函数? 我是初学者。 请多多包涵。 数据集链 ...

8 如何清理大型图像数据集以进行深度学习?

我有477个类别的大型图像数据集(约500,000张图像)。 每个类别都包含一些不相关的图像,因此在模型上进行训练时,模型的准确性是不可接受的。 关于类的数量,在人工帮助下花费大量时间手动清理数据集。 有什么方法可以自动删除此类图像? (例如机器学习方法或算法) ...

9 使用 Powershell 对大型 Zip 文件进行 Base64 编码

我正在尝试将一个 ~66MB 的 zip 文件 base64 编码为字符串,并使用 Powershell 将其写入文件。 我正在处理一个限制,最终我必须将 base64 编码的文件字符串直接包含到 Powershell 脚本中,这样当脚本在不同的位置运行时,可以从中重新创建 zip 文件。 我不仅限 ...

10 使用JMeter进行大型文件上传失败

我正在尝试使用Apache JMeter在文件上载方案中测试服务器的性能。 具体来说,我使用HTTP测试脚本记录器来创建一个测试计划来实现这个curl命令: 在filename.json只有几十行之前,我已经成功使用了这个方法,但是现在当我想用大约72,000行(一个~5.1M文件)测 ...

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2022 STACKOOM.COM