将列和值添加到 CSV 或 Dataframe

Question

全新 Python 和编程。 我有一个 function 从.csv 文件中提取文件创建日期（日期包含在文件命名约定中）：

def get_filename_dates(self):
    """Extract date from filename and place it into a list"""

    for filename in self.file_list:
        try:
            date = re.search("([0-9]{2}[0-9]{2}[0-9]{2})",
                         filename).group(0)
            self.file_dates.append(date)
            self.file_dates.sort()
        except AttributeError:
            print("The following files have naming issues that prevented "
                  "date extraction:")
            print(f"\t{filename}")

    return self.file_dates

这些文件中的数据被带入 DataFrame：

def create_df(self):
    """Create DataFrame from list of files"""
    for i in range(0, len(self.file_dates)):
        self.agg_data = pd.read_csv(self.file_list[i])
        self.agg_data.insert(9, 'trade_date', self.file_dates[i],
                                 allow_duplicates=False)

    return self.agg_data

由于使用了 file_list 中的每个文件，我需要将其对应的日期插入一个新列 (trade_date)。

如此处所述，get_filename_dates() 返回的列表中最后一个索引的值被复制到 trade_date 列的每一行。 -- 大概是因为 read_csv() 在下一行之前打开和关闭每个文件。

我的问题：

• 使用 with open() 将数据插入 csv 文件与在迭代文件以创建 DataFrame 时尝试匹配每个文件和相应日期是否有优势？
• 如果使用 open() 没有优势，是否有不同的 Pandas 方法可以让我在创建 DataFrame 时操作数据？ 除了数据插入之外，我还需要进行其他清理工作。 就目前而言，我编写了一个单独的 function 进行清理； 它并不复杂，如果可能的话，在这个 function 中运行所有东西会很棒。

希望这是有道理的-谢谢

Answer 1

你可以抓住每个 csv 作为中间 dataframe，做任何你需要做的清理工作，然后使用 pd.concat() 将它们连接在一起，就像你 Z34D1F91FB2E514B8576FAB1A75A89A6 像这样的东西：

def create_df(self):
    self.agg_data = pd.DataFrame()

    """Create DataFrame from list of files"""
    for i, date in enumerate(self.file_dates):
        df_part = pd.read_csv(self.file_list[i])
        df_part['trade_date'] = date

        # --- Any other individual file level cleanup here ---

        self.agg_data = pd.concat([self.agg_data, df_part], axis=0)

    # --- Any aggregate-level cleanup here
    return self.agg_data

在聚合级别上尽可能多地进行预处理/清理是有意义的。

我还自由地将for循环转换为使用更多pythonic enumerate