如何将许多文件上传到 Google Colab？

Question

我正在研究一个图像分割机器学习项目，我想在 Google Colab 上对其进行测试。

对于训练数据集，我有 700 张图像，主要是256x256 ，我需要将它们上传到我的项目的 python numpy 数组中。 我还有数千个相应的掩码文件要上传。 它们目前存在于 Google 驱动器上的各种子文件夹中，但我无法将它们上传到 Google Colab 以在我的项目中使用。

到目前为止，我已经尝试使用 Google Fuse，它的上传速度似乎很慢，而 PyDrive 给了我各种身份验证错误。 我大部分时间都在使用 Google Colab I/O 示例代码。

我应该怎么做？ PyDrive 会是要走的路吗？ 某处是否有用于一次上传文件夹结构或多个文件的代码？

Answer 1

您可以将所有数据放入谷歌驱动器，然后安装驱动器。 我就是这样做的。 让我分步解释。

第 1 步：将您的数据传输到您的谷歌驱动器中。

第 2 步：运行以下代码来安装您的谷歌驱动器。

# Install a Drive FUSE wrapper.
# https://github.com/astrada/google-drive-ocamlfuse
!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse



# Generate auth tokens for Colab
from google.colab import auth
auth.authenticate_user()


# Generate creds for the Drive FUSE library.
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}


# Create a directory and mount Google Drive using that directory.
!mkdir -p My Drive
!google-drive-ocamlfuse My Drive


!ls My Drive/

# Create a file in Drive.
!echo "This newly created file will appear in your Drive file list." > My Drive/created.txt

步骤 3：运行以下行以检查是否可以在已安装的驱动器中看到所需的数据。

!ls Drive

第 4 步：

现在将您的数据加载到 numpy 数组中，如下所示。 我有我的 exel 文件，里面有我的火车、简历和测试数据。

train_data = pd.read_excel(r'Drive/train.xlsx')
test = pd.read_excel(r'Drive/test.xlsx')
cv= pd.read_excel(r'Drive/cv.xlsx')

我希望它能有所帮助。

编辑

要将数据从 colab notebook 环境下载到您的驱动器中，您可以运行以下代码。

# Install the PyDrive wrapper & import libraries.
# This only needs to be done once in a notebook.
!pip install -U -q PyDrive
from pydrive.auth import GoogleAuth
from pydrive.drive import GoogleDrive
from google.colab import auth
from oauth2client.client import GoogleCredentials



# Authenticate and create the PyDrive client.
# This only needs to be done once in a notebook.
auth.authenticate_user()
gauth = GoogleAuth()
gauth.credentials = GoogleCredentials.get_application_default()
drive = GoogleDrive(gauth)



# Create & upload a file.
uploaded = drive.CreateFile({'data.xlsx': 'data.xlsx'})
uploaded.SetContentFile('data.xlsx')
uploaded.Upload()
print('Uploaded file with ID {}'.format(uploaded.get('id')))

Answer 2

以下是将大型数据集上传到 Google Colab 的几个步骤

1.将您的数据集上传到免费的云存储，如 dropbox、openload 等（我使用了 dropbox）
2.为您上传的文件创建一个可共享的链接并复制它。
3. 在 Google Colab 中打开您的笔记本并在其中一个单元格中运行此命令：

    !wget your_shareable_file_link

就是这样！
您可以使用以下命令将数据集压缩为 zip 或 rar 文件，然后在 Google Colab 中下载后将其解压缩：

    !unzip downloaded_filename -d destination_folder

Answer 3

首先压缩您的文件，然后将其上传到 Google Drive。

查看这个简单的解压命令：

!unzip {file_location}

示例：

!unzip drive/models.rar

Answer 4

Step1 ：通过运行以下命令挂载驱动器：

from google.colab import drive
drive.mount('/content/drive')

这将输出一个链接。 单击链接，点击允许，复制授权码并将其粘贴到 colab 单元格中的框，上面写有“输入您的授权码：”文本。 此过程只是授予 colab 访问您的 Google 云端硬盘的权限。

Step2 : 上传你的文件夹（压缩或解压取决于文件夹的大小）到 Google Drive

步骤 3 ：现在进入 Drive 目录和文件以找到您上传的文件夹/压缩文件。

此过程可能如下所示： 启动时 colab 中的当前工作目录将是 /content/ 只是为了确保，在单元格中运行以下命令：

!pwd

它将显示您所在的当前目录。（pwd 代表“打印工作目录”）然后使用如下命令：

!ls

列出您所在目录中的目录和文件以及命令：

!cd /directory/name/of/your/choice

进入目录以找到您上传的文件夹或上传的 .zip 文件。

就像这样，您已经准备好使用您的机器学习模型了！ :)

希望这些简单的步骤可以防止您花费太多不必要的时间来弄清楚 colab 的工作原理，而实际上您应该花费大部分时间来弄清楚机器学习模型、它的超参数、预处理……

Answer 5

你可能想尝试kaggle-cli模块，为讨论在这里

Answer 6

有很多方法可以做到：

1. 您可能希望push数据push送到 github 存储库，然后在 Google Colab 代码单元中运行：

   !git clone https://www.github.com/ {repo}.git

2. 您可以将数据上传到Google drive然后在您的代码单元格中：

from google.colab import drive

drive.mount('/content/drive')

3. 使用 transfer.sh 工具：您可以访问此处查看其工作原理：

   传输文件

Answer 7

Google Colab 使用户可以更方便地上传文件 [从本地机器、Google 驱动器或 github]。 您需要单击笔记本左侧窗格中的安装驱动器选项，您将可以访问存储在驱动器中的所有文件。

选择文件 -> 右击 -> 复制路径参考这个

使用 python 导入方法从此路径导入文件，例如：

import pandas as pd
data = pd.read_csv('your copied path here')

要一次性导入多个文件，您可能需要编写一个函数。