如何解决“列表索引超出范围”这一可能与路径相关的问题？

Question

我正在尝试在我的本地 windows 机器上为一个项目训练 model，但由于某种原因，我不断收到以下错误。 我在 anaconda 上创建了一个新环境并安装了所有必要的培训包，但我似乎无法找到这有什么问题。 该代码在 Colab 环境中运行良好，但在 Windows 本地计算机上不起作用。

Traceback (most recent call last):
  File "train_model.py", line 29, in <module>
    labels = labels_to_number(TRAIN_PATH)
  File "E:\slproject\data_utils.py", line 13, in labels_to_number
    classes = [i.split(os.path.sep)[3] for i in glob.glob(path + '*')]
  File "E:\slproject\data_utils.py", line 13, in <listcomp>
    classes = [i.split(os.path.sep)[3] for i in glob.glob(path + '*')]
IndexError: list index out of range

这是 data_utils.py 文件：

import glob
import os


def labels_to_number(path):

    print(glob.glob(path + '*'))
    classes = [i.split(os.path.sep)[3] for i in glob.glob(path + '*')]
    classes.sort()

    labels_dict = {}
    for i, label in enumerate(classes):
        labels_dict[label] = i

    return labels_dict


def videos_to_dict(path, labels):
 
    videos_dict = {}
    for root, dirs, files in os.walk(os.path.relpath(path)):
        for file in files:
            video_name = os.path.join(root, file)
            dir_name = os.path.basename(os.path.dirname(video_name))  # label
            videos_dict[video_name] = labels[dir_name]

    return videos_dict

这里还有一段 train_model.py 文件：

import os
from itertools import islice

import matplotlib.pyplot as plt
import pandas as pd
from tensorflow.keras.callbacks import ModelCheckpoint
from tensorflow.keras.optimizers import Adam

from data_utils import labels_to_number, videos_to_dict
from frame_generator import VideoFrameGenerator
from models import create_model_wlasl20c


# model settings
height = 224
width = 224
dim = (height, width)
batch_size = 8
frames = 10
channels = 3
output = 20

TRAIN_PATH = 'E:/slproject/data/train'
VAL_PATH = 'E:/slproject/data/val'
TEST_PATH = 'E:/slproject/data/test'


# transform labels from string to number
labels = labels_to_number(TRAIN_PATH)
print(f'Labels: {labels}')

# load dataset as dict
y_train_dict = videos_to_dict(TRAIN_PATH, labels)
y_val_dict = videos_to_dict(VAL_PATH, labels)
y_test_dict = videos_to_dict(TEST_PATH, labels)

print(f'\nTrain set: {len(y_train_dict)} videos - with labels')
print(f'Val   set: {len(y_val_dict)} videos - with labels')
print(f'Test  set: {len(y_test_dict)} videos - with labels')
print(f'Train set samples: {list(islice(y_train_dict.items(), 3))}')
print(f'Val   set samples: {list(islice(y_val_dict.items(), 3))}')
print(f'Test  set samples: {list(islice(y_test_dict.items(), 3))}')

# get video paths (without labels)
X_train = list(y_train_dict.keys())
X_val = list(y_val_dict.keys())
X_test = list(y_test_dict.keys())

print(f'\nTrain set: {len(X_train)} videos')
print(f'Val   set: {len(X_val)} videos')
print(f'Test  set: {len(X_test)} videos')
print(f'Train set samples: {X_train[:4]}')
print(f'Val   set samples: {X_val[:4]}')
print(f'Test  set samples: {X_test[:4]}')

# instantiation of generators for train and val sets
print('\nTrain generator')
train_generator = VideoFrameGenerator(
    list_IDs=X_train,
    labels=y_train_dict,
    batch_size=batch_size,
    dim=dim,
    n_channels=3,
    n_sequence=frames,
    shuffle=True,
    type_gen='train'
)

print('\nVal generator')
val_generator = VideoFrameGenerator(
    list_IDs=X_val,
    labels=y_val_dict,
    batch_size=batch_size,
    dim=dim,
    n_channels=3,
    n_sequence=frames,
    shuffle=True,
    type_gen='val'
)

我尝试将 data_utils.py 中的第 13 行更改为

classes = [i.split(os.path.sep)[-1] for i in glob.glob(os.path.join(path,'*'))]

它仍然没有用。 谁能告诉我这里有什么问题，我该如何解决？ 我只想在 Colab 上运行它，但如果可能的话，我希望能够在本地机器上运行，尤其是考虑到我的 inte.net 连接有多差。

更新 1：

按照建议更改路径以包含反斜杠和原始字符串文字，现在出现此错误：

Traceback (most recent call last):
  File "train_model.py", line 33, in <module>
    y_train_dict = videos_to_dict(TRAIN_PATH, labels)
  File "E:\slproject\data_utils.py", line 38, in videos_to_dict
    videos_dict[video_name] = labels[dir_name]
KeyError: 'above'

错误消息表明在尝试访问与标签字典中的“上方”键关联的值时出现 KeyError，并且标签字典中不存在“上方”键，这很奇怪，因为“上方”是在文件夹中且文件夹结构正确：E:\slproject\data\train\above

更新 2：

故障排除的附加信息：

glob.glob(path + '*')结果：['E:\slproject\data\train']

i.split(os.path.sep)的结果：['E:', 'slproject', 'data', 'train']

glob.glob(os.path.join(path,'*'))结果：['E:\slproject\data\train\above', 'E:\slproject\data\train\abroad', 'E: \slproject\data\train\advise', 'E:\slproject\data\train\aeroplane',.........

任何帮助和建议表示赞赏。 谢谢你。

Answer 1

os.path.sep是特定于系统的（它也几乎没有记录，通过os.sep的os文档中的引用； os.sep是更容易找到的版本），并且在 Windows 上，它是一个反斜杠（ \\ ）。 您的硬编码文件路径使用正斜杠 ( / )。 如果您正在对路径进行硬编码，那么也要对分隔符进行硬编码（ os.altsep也存在于 Windows 上以处理反斜杠），或者至少使它们匹配。

关于“使它们匹配”，因为无论如何这些都是纯粹的 Windows 路径，您最好用反斜杠和原始字符串文字编写它们（以避免每个反斜杠加倍），例如更改：

TRAIN_PATH = 'E:/slproject/data/train'
VAL_PATH = 'E:/slproject/data/val'
TEST_PATH = 'E:/slproject/data/test'

到：

TRAIN_PATH = r'E:\slproject\data\train'
VAL_PATH = r'E:\slproject\data\val'
TEST_PATH = r'E:\slproject\data\test'

os.sep将正确匹配分隔符。

注意斜杠方向的变化和每个文字前添加的r ； 如果您省略前导r ，将识别字符串文字转义，并且您的\t将变成制表符，而\v将变成垂直制表符。 始终对 Windows 路径使用原始字符串文字； 有时它在没有它们的情况下也能正常工作，但是当您无意中键入有效的转义符（或无效但已识别的部分转义符，例如\U in C:\Users等）时，您迟早会遇到问题。

Answer 2

result of glob.glob(path + '*'): ['E:\slproject\data\train']

result of i.split(os.path.sep): ['E:', 'slproject', 'data', 'train']

看起来您需要在路径中添加尾随\ ，以便glob匹配 train 的内容（ train\*例如'train\abroad'、'train\advise'）而不是以“train”开头的文件夹（ train*例如'火车'，'火车2'）

import glob
from pathlib import Path

# Simulate train directory
path = Path("train")
path.mkdir()
for cls in ["above", "abroad", "advise", "aeroplane"]:
    p = path / cls
    p.mkdir()
path2 = Path("train2")
path2.mkdir()
    
glob.glob("train" + "*")  # current situation
# ['train', 'train2']

glob.glob("train/" + "*")  # expected result?
# ['train/abroad', 'train/advise', 'train/above', 'train/aeroplane']