时间序列根据其他年份的相关数据填补大时间间隔（超过一个月）的 NA

Question

我有一个时间序列数据集，其中包含 2015-2022 年期间的每日观察结果。 但是，2015-2018 年只有半年的数据：从 1 月到 6 月（从 7 月到 12 月的所有日子都是 NA）。 但是 2019-2022 年的所有月份和所有日期都有日期。 我想根据 2019-2022 年的数据填写所有 NA 缺少月份的年份。 换句话说，我想根据其他年份的现有值计算缺失月份的每一天的平均值。 然后，我需要用相应的计算方法填充 NA。

这是创建代表我的数据集和现有问题的 DataFrame 的代码：

import numpy as np
import pandas as pd


np.random.seed(1)

rows,cols = 1000,3 # dataframe with 1000 rows, each raw represents data for one day (from 1st January 2019 to 26th September 2021)
data = np.random.rand(rows,cols) 
tidx = pd.date_range('2019-01-01', periods=rows, freq='D') 
df = pd.DataFrame(data, columns=['a','b','c'], index=tidx) #there are 3 columns with data
date_list =pd.date_range(start='2019-07-01', end='2019-08-31') 
df[df.index.isin(date_list)] = np.nan #July and August have missing data for all days in 2019 year, but 2020 and 2021 have data for these months

print (df)

在上面介绍的模拟 df 中，我需要根据 2020 年和 2021 年存在的相应数据，用这些月的每一天计算的平均值填充 2019 年 7 月和 8 月的 NA。我尝试了 pandas 库提供的各种插值方法，但结果非常糟糕，因为缺少数据的时间段非常大。

Answer 1

有几个步骤可以做到这一点

• 步骤 1 查找一年中缺少值的日子
• 第 2 步找到 2020 年和 2021 年在 2019 年缺失值的日子的平均值。 这可以使用 groupby 和 mean 作为聚合轻松完成 function
• 第 3 步用新值填充 nan

# step 1
df['timestamp'] = pd.to_datetime(df.index)
df["date_year"] = df.timestamp.dt.dayofyear
mising_days = df[df.a.isna()]["date_year"].to_list()

# step 2
res = df[df.date_year.isin(mising_days)].groupby("date_year").mean()

# step 3
df.loc[df.a.isna(), ["a", "b", "c"]] = res.values
df.drop(["timestamp", "date_year"], axis=1) # drop values used for the calculation