pandas read_csv() 和 python 迭代器作为输入

Question

我想使用 pandas read_csv() 函数，其中输入是一个 python 迭代器，其中每个 next() 将带到我的文本文件的下一行。 你会建议我做什么？ 我想要最好的表现。
据我了解， StringIO 在这种情况下有效，但我宁愿不使用它。

顺便说一句，在那之后我使用 as_matrix() 函数来创建一个 numpy 数组。
这样做是因为它比 np.loadtxt() 函数快得多，后者非常慢:(

Answer 1

你应该使用：

 from io import StringIO
 pd.read_csv(StringIO("\n".join(iter)))

其中iter是您的迭代器/生成器变量。
这仍然比使用np.loadtxt(iter)快