在 Google Colab 中合并多个 .txt 文件

Question

我的本地系统中有大约 500 个 .txt 文件，我想将它们合并到 Google Colab 中的数据帧中。 我已经通过上传选项上传了它们，我上传了包含 .txt 文件的压缩文件夹，然后在 Google Colab 中解压它们。 每个 .txt 文件都有一行数据，例如。 0 12 34.3 423

我尝试了以下代码直接从本地系统上传，但没有用

Answer 1

据我所知，Colab 无法通过典型的内置程序访问您的本地文件。 您必须使用 Colab 特定的模块。 指南在这里。

from google.colab import files

uploaded = files.upload()

for fn in uploaded.keys():
  print('User uploaded file "{name}" with length {length} bytes'.format(
      name=fn, length=len(uploaded[fn])))

这将提示您选择要上传的文件。

编辑：由于您需要文件名，您可以只使用上面的循环，然后按照您正确提到的方式进行连接。

# create a list of file names
file = []
for fn in uploaded.keys():
    files.append(fn)

# create a list of dataframes
for file in files:
        new = pd.read_csv(file)
        try:
            frames.append(new)
        except: 
            frames = [new] 

# concat all of your frames at once
df = pd.concat(frames)

或者，根据文件的大小，您还可以加入 for 循环并加载一个文件并将其直接连接到现有帧，这样内存必须一次容纳更少的数据。