Pandas read_csv() 来自文本文件，其中数据开始/结束由特定字符串标记

Question

我正在从文本文件中读取数百个 model 输出，其中第一个 nrows 是关于 model 运行的不相关文本行（注意：nrows 因文件而异）。 但是，我有要从文本文件导入的逗号分隔数据。 这些数据可以在所有文件中的“BREAK THROUGH @ WT, ITERATION”和“END BREAK THROUGH @ WT”行之后找到（见下文）。 我目前在 read_csv() 中使用 nrows 和 skiprows 的方法不起作用，因为这些参数因文件而异。 关于如何使用字符串“标记”从文本文件导入 csv 数据的任何想法。 谢谢！
Model 我想阅读的输出/输入文件看起来像
文本
文本 0.314347435514229
文字文字文字文字文字文字文字文字
突破@WT，迭代
1 0.0
3 0.0
6 0.0
结束突破 @ WT
dataframe 中提取的数据看起来像
1 0.0
3 0.0
6 0.0

Answer 1

使用名为“your_column”的列的假数据：

words = ["BREAK THROUGH @ WT, ITERATION", "END BREAK THROUGH @ WT"]

df = pd.read_csv(...)
df = df.loc[df["your_column"].isin(words).cumsum() & ~df["your_column"].isin(words)].reset_index(drop=True)
print(df)

Answer 2

似乎我能够找到没有正则表达式的解决方案，但仍然好奇正则表达式如何简化我的生活。

beg_id = "BREAK THROUGH @ WT, ITERATION =     1\n"
end_id = "END BREAK THROUGH @ WT"
# for f in cmtp_fnames:
f = 'data/cmtp/PFOS_Dry_LS_1m_AD+R.OUT'
with open(f) as fname:
    data = fname.read()
    data = data[data.find(beg_id):]
    data = data[data.find(beg_id)+len(beg_id):data.find(end_id)]
    data=data.splitlines(False)
    data=pd.DataFrame(sub.split(",") for sub in data).drop(labels=2,axis=1)