填充多索引数据框中的缺失时间值

Question

问题和我想要的

我有一个数据文件，包括从多个传感器异步读取的时间序列。 基本上对于我的文件中的每个数据元素，我都有一个传感器ID和读取时间，但我并不总是每次都有所有传感器，并且读取时间可能不均匀。 就像是：

ID,time,data
0,0,1
1,0,2
2,0,3
0,1,4
2,1,5  # skip some sensors for some time steps
0,2,6
2,2,7
2,3,8
1,5,9  # skip some time steps
2,5,10

重要提示 ，实际time列是datetime类型。

我想要的是能够为那个传感器不存在的任何时间步长的每个传感器的零阶保持（前向填充）值，并设置为零或回填任何最早时间步未读取的传感器。 我想要的是一个看起来像是从中读取的数据框：

ID,time,data
0,0,1
1,0,2
2,0,3
0,1,4
1,1,2  # ID 1 hold value from time step 0
2,1,5
0,2,6
1,2,2  # ID 1 still holding
2,2,7
0,3,6  # ID 0 holding
1,3,2  # ID 1 still holding
2,3,8
0,5,6  # ID 0 still holding, can skip totally missing time steps
1,5,9  # ID 1 finally updates
2,5,10

到目前为止，熊猫的尝试

我初始化我的数据帧并设置我的索引：

df = pd.read_csv(filename, dtype=np.int)
df.set_index(['ID', 'time'], inplace=True)

我试着弄乱像：

filled = df.reindex(method='ffill')

传递给index关键字参数的各种值，如df.index ， ['time']等等。这总是会引发错误，因为我传递了无效的关键字参数，或者对数据帧没有任何可见性。 我认为它没有认识到我正在寻找的数据“缺失”。

我也尝试过：

df.update(df.groupby(level=0).ffill())

或者基于Pandas中的多索引fillna，或者level=1 ，但是我没有再次对数据帧进行可见的更改，我认为因为我目前没有任何我想要的值。

到目前为止Numpy的尝试

我有一些运气与numpy和非整数索引使用类似的东西：

data = [np.array(df.loc[level].data) for level in df.index.levels[0]]
shapes = [arr.shape for arr in data]
print(shapes)
# [(3,), (2,), (5,)]
data = [np.array([arr[i] for i in np.linspace(0, arr.shape[0]-1, num=max(shapes)[0])]) for arr in data]
print([arr.shape for arr in data])
# [(5,), (5,), (5,)]

但这有两个问题：

1. 它让我脱离了熊猫世界，我现在必须手动维护我的传感器ID，时间索引等以及我的特征向量（实际data列不仅仅是一列，而是来自传感器套件的大量值） 。
2. 鉴于列的数量和实际数据集的大小，在我的真实示例中实现这将是笨重和不优雅的。 我更喜欢在熊猫中做这种方式。

应用程序

最终，这只是用于训练循环神经网络的数据清理步骤，其中对于每个时间步骤，我将需要馈送始终具有相同结构的特征向量（每个时间步长的每个传感器ID的一组测量）。

谢谢您的帮助！

Answer 1

这是一种方法，使用reindex和category

df.time=df.time.astype('category',categories =[0,1,2,3,4,5])
new_df=df.groupby('time',as_index=False).apply(lambda x : x.set_index('ID').reindex([0,1,2])).reset_index()
new_df['data']=new_df.groupby('ID')['data'].ffill()
new_df.drop('time',1).rename(columns={'level_0':'time'})
Out[311]: 
    time  ID  data
0      0   0   1.0
1      0   1   2.0
2      0   2   3.0
3      1   0   4.0
4      1   1   2.0
5      1   2   5.0
6      2   0   6.0
7      2   1   2.0
8      2   2   7.0
9      3   0   6.0
10     3   1   2.0
11     3   2   8.0
12     4   0   6.0
13     4   1   2.0
14     4   2   8.0
15     5   0   6.0
16     5   1   9.0
17     5   2  10.0

Answer 2

您可以为每个传感器准备最后读数的字典。 你必须选择一些初始值; 最合乎逻辑的选择可能是将最早的阅读回填到较早的时间。 一旦填充了last_reading字典，就可以按时间对所有读数进行排序，为每次读取更新字典，然后根据字典填写行。 所以在你的last_reading字典初始化之后：

last_time = readings[1][time]
for reading in readings:
   if reading[time] > last_time:
      for ID in ID_list:
         df.loc[last_time,ID] = last_reading[ID]
      last_time = reading[time]
   last_reading[reading[ID]] = reading[data]
#the above for loop doesn't update for the last time
#so you'll have to handle that separately
for ID in ID_list:
    df.loc[last_time,ID] = last_reading[ID]
    last_time = reading[time]

这假设您对每个时间/传感器对只有一个读数，并且“读取”按时间排序的字典列表。 它还假设df具有不同的传感器作为列，不同的时间作为索引。 否则，根据需要调整代码。 您也可以通过一次更新整行而不是使用for循环来优化它，但我不想处理以确保我的Pandas语法正确。

但是，查看应用程序时，您可能希望数据框中的每个单元格都不是数字，而是最后一个值和读取时间的元组，因此将last_reading[reading[ID]] = reading[data] last_reading[reading[ID]] = [reading[data],reading[time]] last_reading[reading[ID]] = reading[data]替换为last_reading[reading[ID]] = [reading[data],reading[time]] 。 然后，您的神经网络可以根据数据量来决定如何对数据进行加权。

Answer 3

我得到了以下内容，我认为对于任何这种情况都非常通用，其中您要填充值的时间索引是具有两个索引的多索引中的第二个：

# Remove duplicate time indices (happens some in the dataset, pandas freaks out).
df = df[~df.index.duplicated(keep='first')]

# Unstack the dataframe and fill values per serial number forward, backward.
df = df.unstack(level=0)
df.update(df.ffill())  # first ZOH forward
df.update(df.bfill())  # now back fill values that are not seen at the beginning

# Restack the dataframe and re-order the indices.
df = df.stack(level=1)
df = df.swaplevel()

这让我得到了我想要的东西，虽然我希望能够保留重复的时间条目，如果有人知道这样做的好方法。

您还可以使用df.update(df.fillna(0))而不是回填，如果为特定应用程序启动未知值为零df.update(df.fillna(0))可取。

我将上面的代码块放在一个名为clean_df的函数中，该函数将clean_df作为参数并返回已清理的数据帧。