Pandas Reindex填補缺失的日期或更好的填充方法？

Question

我的數據是來自工廠的缺勤記錄。 有些日子沒有缺席，所以當天沒有記錄數據或日期。 然而，如果顯示的其他示例變得毛茸茸，那么在任何一天，由於各種原因可能會有幾次缺席。 數據中的日期與記錄的比率並不總是1比1。

我希望的結果是這樣的：

(index)    Shift        Description     Instances (SUM)
01-01-14   2nd Baker    Discipline      0
01-01-14   2nd Baker    Vacation        0
01-01-14   1st Cooks    Discipline      0
01-01-14   1st Cooks    Vacation        0
01-02-14   2nd Baker    Discipline      4
01-02-14   2nd Baker    Vacation        3
01-02-14   1st Cooks    Discipline      3
01-02-14   1st Cooks    Vacation        3

等等。 這個想法是所有班次，描述將包含該時間段內所有日期的值（在此示例2014年1月1日 - 2014年12月31日）

我已經閱讀了幾個例子，最接近我的工作就是在這里 。

ts = pd.read_csv('Absentee_Data_2.csv'
                , encoding = 'utf-8'
                ,parse_dates=[3]
                ,index_col=3
                ,dayfirst=True
                )

idx =  pd.date_range('01.01.2009', '12.31.2017')

ts.index = pd.DatetimeIndex(ts.index)
# ts = ts.reindex(idx, fill_value='NaN')
df = pd.DataFrame(index = idx)
df1 = df.join(ts, how='left')

但是，當我取消注釋ts = ts.reindex(idx, fill_value='NaN')我收到錯誤消息。 我已經嘗試了至少10種其他方法來完成我想要做的事情所以我不是百分之百確定這是正確的道路，但它似乎讓我最接近任何進展。

這是一些示例數據：

Description Unexcused   Instances   Date        Shift
Discipline  FALSE              1    Jan 2 2014  2nd Baker
Vacation    TRUE               2    Jan 2 2014  1st Cooks
Discipline  FALSE              3    Jan 2 2014  2nd Baker
Vacation    TRUE               1    Jan 2 2014  1st Cooks
Discipline  FALSE              2    Apr 8 2014  2nd Baker
Vacation    TRUE               3    Apr 8 2014  1st Cooks
Discipline  FALSE              1    Jun 1 2014  2nd Baker
Vacation    TRUE               2    Jun 1 2014  1st Cooks
Discipline  FALSE              3    Jun 1 2014  2nd Baker
Vacation    TRUE               1    Jun 1 2014  1st Cooks
Vacation    TRUE               2    Jul 5 2014  1st Cooks
Discipline  FALSE              3    Jul 5 2014  2nd Baker
Vacation    TRUE               2    Dec 3 2014  1st Cooks

提前謝謝你的幫助，我是一個新手，2天沒有太大進展。 我非常感謝這里的人們如何幫助解答，但最重要的是指導解決方案的工作原理。 像我這樣的新手非常感謝分享的智慧。

Answer 1

我認為你在使用datetime時遇到了問題，這種方法對我有用

ts.set_index(['Date'],inplace=True)
ts.index = pd.to_datetime(ts.index,format='%b %d %Y')
d2 = pd.DataFrame(index=pd.date_range('2014-01-01','2014-12-31'))

print ts.join(d2,how='right')

Answer 2

實際上你非常接近你想要的東西（假設我正確理解了你想要的輸出）。 請參閱上面代碼中我添加的內容：

import pandas as pd

ts = pd.read_csv('Absentee_Data_2.csv', encoding = 'utf-8',parse_dates=[3],index_col=3,dayfirst=True, sep=",")

idx =  pd.date_range('01.01.2009', '12.31.2017')

ts.index = pd.DatetimeIndex(ts.index)
#ts = ts.reindex(idx, fill_value='NaN')
df = pd.DataFrame(index = idx)
df1 = df.join(ts, how='left')
df2 = df1.copy()
df3 = df1.copy()
df4 = df1.copy()
dict1 = {'Description': 'Discipline', 'Instances': 0, 'Shift': '1st Cooks'}
df1 = df1.fillna(dict1)
dict1["Description"] = "Vacation"
df2 = df2.fillna(dict1)
dict1["Shift"] = "2nd Baker"
df3 = df3.fillna(dict1)
dict1["Description"] = "Discipline"
df4 = df4.fillna(dict1)
df_with_duplicates = pd.concat([df1,df2,df3,df4])
final_res = df_with_duplicates.reset_index().drop_duplicates(subset=["index"] + list(dict1.keys())).set_index("index").drop("Unexcused", axis=1)

基本上你要添加的內容：

• 將用ts創建的幾乎為空的df復制4次（ df1 ）
• fillna(dict1)允許在列中填充所有NaN的靜態值
• 連接4個dfs，我們仍然需要刪除一些重復項，因為csv的原始值重復4次
• 刪除重復項，我們需要索引來保持添加的值，因此reset_index后跟`set_index（“index”）
• 最后刪除Unexcused列

最后幾個輸出：

In [5]: final_res["2013-01-2"]
Out[5]: 
           Description  Instances      Shift
index                                       
2013-01-02  Discipline        0.0  1st Cooks
2013-01-02    Vacation        0.0  1st Cooks
2013-01-02    Vacation        0.0  2nd Baker
2013-01-02  Discipline        0.0  2nd Baker

In [6]: final_res["2014-01-2"]
Out[6]: 
           Description  Instances       Shift
index                                        
2014-01-02  Discipline        1.0   2nd Baker
2014-01-02    Vacation        2.0   1st Cooks
2014-01-02  Discipline        3.0   2nd Baker
2014-01-02    Vacation        1.0   1st Cooks
1