监督时间序列效率改善

Question

我拥有的数据在过去4个月中每小时记录一次。 我正在构建时间序列模型，到目前为止，我已经尝试了几种方法：Arima，LSTM，Prophet，但是它们对于我的任务来说可能会很慢，因为我必须在不同位置的数千个时间序列上运行模型。 因此，我认为将其转换为监督问题并使用回归可能很有趣。

我从单变量时间序列及其时间索引中提取了4个特征，分别是：星期几，小时，每日平均值和每小时平均值。 因此，目前我正在使用这4个预测变量，但可能会提取更多（例如，一天的开始，中午等等，如果您在这里还有其他建议，也非常欢迎他们：））

我使用XGBoost进行回归，这是代码的一部分：

# XGB
import xgboost as xgb 
from sklearn.model_selection import train_test_split
from sklearn.metrics import r2_score

# Functions needed 
def convert_dates(x):
        x['date'] = pd.to_datetime(x['date'])
        #x['month'] = x['date'].dt.month
        #x['year'] = x['date'].dt.year
        x['dayofweek'] = x['date'].dt.dayofweek
        x['hour'] = x['date'].dt.hour
        #x['week_no'] = pd.to_numeric(x['date'].index.strftime("%V"))
        x.pop('date')
        return(x)

def add_avg(x):
        x['daily_avg']=x.groupby(['dayofweek'])['y'].transform('mean')
        x['hourly_avg'] = x.groupby(['dayofweek','hour'])['y'].transform('mean')
        #x['monthly_avg']=x.groupby(['month'])['y'].transform('mean')
        #x['weekly_avg']=x.groupby(['week_no'])['y'].transform('mean')
        return x

xgb_mape_r2_dict = {}

然后，我运行一个for循环，在其中选择一个位置并为其建立模型。 在这里，我将数据分为训练和测试部分。 我知道上周我国的复活节假期可能会造成问题，因为那是罕见的事件，所以这就是为什么我以这种方式划分训练和测试数据。 因此，我实际上将从年初到两周前的数据视为训练数据，并将其后第二周的数据视为测试数据。

for j in range(10,20):
    data = df_all.loc[df_all['Cell_Id']==top_cells[j]]
    data.drop(['Cell_Id', 'WDay'], axis = 1, inplace = True)
    data['date'] = data.index
    period = 168
    data_train = data.iloc[:-2*period,:]
    data_test = data.iloc[-2*period:-period,:]


    data_train = convert_dates(data_train)
    data_test = convert_dates(data_test)
    data_train.columns = ['y', 'dayofweek', 'hour']
    data_test.columns = ['y', 'dayofweek', 'hour']

    data_train = add_avg(data_train)
    daily_avg = data_train.groupby(['dayofweek'])['y'].mean().reset_index()
    hourly_avg = data_train.groupby(['dayofweek', 'hour'])['y'].mean().reset_index()

现在，对于测试数据，我添加了过去的平均值，即过去的7个每日平均值和过去的168个小时平均值。 实际上，这是运行时间最长的部分，我想提高其效率。

    value_dict ={}
    for k in range(168):
        value_dict[tuple(hourly_avg.iloc[k])[:2]] = tuple(hourly_avg.iloc[k])[2]


    data_test['daily_avg'] = 0
    data_test['hourly_avg'] = 0
    for i in range(len(data_test)):
        data_test['daily_avg'][i] = daily_avg['y'][data_test['dayofweek'][i]]
        data_test['hourly_avg'][i] = value_dict[(data_test['dayofweek'][i], data_test['hour'][i])]

对于for循环中的每个迭代，我当前的运行时间为30秒，这太慢了，因为我使用不良的方法将平均值添加到测试数据中。 如果有人能指出我如何更快地实现这一点，我将不胜感激。

我还将添加其余代码，并进行其他一些观察：

    x_train = data_train.drop('y',axis=1)
    x_test = data_test.drop('y',axis=1)
    y_train = data_train['y']
    y_test = data_test['y']

    def XGBmodel(x_train,x_test,y_train,y_test):
        matrix_train = xgb.DMatrix(x_train,label=y_train)
        matrix_test = xgb.DMatrix(x_test,label=y_test)
        model=xgb.train(params={'objective':'reg:linear','eval_metric':'mae'}
                        ,dtrain=matrix_train,num_boost_round=500, 
                        early_stopping_rounds=20,evals=[(matrix_test,'test')],)
        return model

    model=XGBmodel(x_train,x_test,y_train,y_test)


    #submission = pd.DataFrame(x_pred.pop('id'))
    y_pred = model.predict(xgb.DMatrix(x_test), ntree_limit = model.best_ntree_limit)

    #submission['sales']= y_pred

    y_pred = pd.DataFrame(y_pred)
    y_test = pd.DataFrame(y_test)
    y_test.reset_index(inplace = True, drop = True)
    compare_df = pd.concat([y_test, y_pred], axis = 1)
    compare_df.columns = ['Real', 'Predicted']
    compare_df.plot()

    mape = (np.abs((y_test['y'] - y_pred[0])/y_test['y']).mean())*100
    r2 = r2_score(y_test['y'], y_pred[0])
    xgb_mape_r2_dict[top_cells[j]] = [mape,r2]

我将R平方和MAPE都用作准确性度量，尽管我不认为MAPE会再显示，因为我已将时间序列问题转换为回归问题。 您对此主题有何想法？

非常感谢您的时间和考虑。 很感谢任何形式的帮助。

更新：我设法使用熊猫的合并解决了这个问题。 我首先创建了两个数据框，其中包含来自训练数据的每日平均值和小时平均值，然后将这些ataframe与测试数据合并：

data_test = merge(data_test, daily_avg,['dayofweek'],'daily_avg')
data_test = merge(data_test, hourly_av['dayofweek','hour'],'hourly_avg')
data_test.columns = ['y', 'dayofweek', 'hour', 'daily_avg', 'hourly_avg']

我们使用合并函数定义为：

def merge(x,y,col,col_name):
    x =pd.merge(x, y, how='left', on=None, left_on=col, right_on=col,
            left_index=False, right_index=False, sort=True,
             copy=True, indicator=False,validate=None)
    x=x.rename(columns={'sales':col_name})
    return x

现在，我可以在笔记本电脑上以每小时2000个位置的速度运行该模型，并获得不错的结果，但我将尝试在保持快速的同时对其进行改进。 再次非常感谢您。