特征工程，同時使用經過訓練的 ML model 作為服務進行預測

Question

我正在嘗試構建一個 flask 服務來預測回歸問題。 我有構建大約 20 列的 model 所需的數據。 使用這些數據，我構建了一個很好的回歸器 model。 但是在數據上訓練 model 時，我做了很多特征工程，例如 log box cox 轉換、one-hot 編碼、由於高多重共線性而丟棄少量列等，現在特征數量為 35。 我在這 35 個功能上訓練了 model，檢查了性能並使用pickle保存了 model。 我在 flask 服務中加載了我腌制的 model。 但是現在 model 的輸入是我的原始數據的格式，它只有 20 列。

那么，如何對新的輸入集進行所有特征工程呢？ 我只能保存經過訓練的 model，但是在傳遞我的新數據進行預測之前，我如何進行所有的特征工程。

Answer 1

特征工程工作一旦成功（經過多次實驗），就應該轉化為輸入處理代碼（ML 管道的一部分）。 這段代碼，也許經過一些重構，應該在輸入到訓練模型之前作為輸入處理代碼結束。

這通常由可插拔架構支持（如 sklearn 中的Pipeline或 TensorFlow 中的 tf.data tf.data集）。