如何有效地重新索引csv数据？

Question

我有一个文件，是从互联网下载的滴答数据。 看起来像这样。 该文件相对“大”

time,bid,bid_depth,bid_depth_total,offer,offer_depth,offer_depth_total
20150423T014501,81.79,400,400,81.89,100,100
20150423T100001,81.,100,100,84.36,100,100
20150423T100017,81.,100,100,83.52,500,500
20150423T115258,81.01,500,500,83.52,500,500
...

然后，我想重新索引数据，以便可以通过时间类型查询访问它：

from pylab import *
from pandas import *
import pandas.io.date_converters as conv

XLE = read_csv('XLE.csv') # Chunking seems somewhat kludy XLE = pd.read_csv('XLE.csv', chunksize=4)
#preferred something like XLE = pd.read_csv('XLE.csv', index_col=0, parse_dates=True) but can't handle this time format?

XLE = XLE.drop_duplicates(cols='time')

for i in XLE.index :
    XLE [ 'time' ][ i ]= datetime.strptime ( XLE [ 'time' ][ i], '%Y%m%dT%H%M%S')
XLE.index = XLE [ ' time ' ]; del XLE [ 'time']

print XLE[['bid','offer']].ix[1000:1015].to_string() # this is the goal, to be able to manipulate the data through a time index.

我的问题是：

1. 当我在外壳中运行该程序时，即使是一个文件也要花费很多时间。 我确定我的方法一定做错了，因为目标是读取许多文件并将它们合并为pandas DataFrame / Timeseries
2. 熊猫似乎是一种记忆形式的方法。 当文件确实很大并且不能全部容纳在内存中时，人们会怎么做？ 是否有一个pandas接口隐藏了实际数据所在的pandas，以便在计算过程中根据需要从磁盘加载和卸载文件？
3. 将过滤器应用于时间列似乎更合乎逻辑，因为它正在被读取，然后在以后对其进行操作。 有一种方法可以通过在将对象存储到内存之前告诉read函数读取列时调用哪个函数来做到这一点？

Answer 1

我有点太懒了，也无法弄清楚这里到底发生了什么，但是这将非常慢，因为您要显式循环而不是使用矢量化方法中内置的熊猫。 （如果可能的话，在使用熊猫时基本上避免使用“ for”，并且通常是可能的。）

for i in XLE.index :
    XLE [ 'time' ][ i ]= datetime.strptime ( XLE [ 'time' ][ i], '%Y%m%dT%H%M%S')
XLE.index = XLE [ ' time ' ]; del XLE [ 'time']

您可以使用以下方法轻松地将时间转换为熊猫的日期时间：

XLE['time'] = pd.to_datetime(XLE.time)

我不知道为什么parse_dates与read_csv你没有在那里工作，但你也可以使用date_parser ，并指定特定格式的方式。

然后，如果要使其成为索引：

XLE = XLE.set_index('time')

那应该让您开始。 一旦“时间”是大熊猫的日期时间，您就可以做各种各样的事情（请参阅文档）。 如果事情适合内存，这些事情应该很快。 如果不能，那么在可行的情况下，SO上有许多答案可以帮助您，尽管购买更多的内存始终是最简单的解决方案。