在Python中执行多元回归的测试数据集中的异常

Question

我有一个数据集（训练，测试和结果），其中包含32个自变量和5个因变量。 为了掌握数据，我试图在其上构建一个简单的线性回归模型并测试其性能。

但是测试数据集中所有因变量行都用“？”填充。

Salary DOJ DOL Designation JobCity ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

在这5个因变量中，我试图预测薪水（借助于32个独立变量）。

当我实现此代码时：

import pandas as pd
import numpy as np
from sklearn.metrics import mean_absolute_error, mean_squared_error
from sklearn.linear_model import LinearRegression

def get_data(file_name):
    train = pd.read_excel("C:/Users/Shubhanshu/Desktop/train.xlsx")
    X_train = train.drop(['ID', 'Salary'], axis=1)
    #Keeping only numeric data
    X_train = X_train._get_numeric_data()
    y_train = train.Salary
    return y_train, X_train
Y, X = get_data("C:/Users/Shubhanshu/Desktop/train.xlsx")

clf = LinearRegression()
clf = clf.fit(X, Y)

def get_test_data(file_name):
    test = pd.read_excel("C:/Users/Shubhanshu/Desktop/test.xlsx")
    X_test = test.drop(['ID', 'Salary'], axis=1)
    #Keeping only numeric data
    X_test = X_test._get_numeric_data()
    y_test = test.Salary
    return X_test, y_test

X1, Y1 = get_test_data("C:/Users/Shubhanshu/Desktop/test.xlsx")
r_sqr = clf.score(X1, Y1)
y_pred = clf.predict(X1)

我收到错误： ValueError: could not convert string to float: ?

在对可用材料和教程进行彻底搜索之后，我想我可以替换所有的“？” 假设有一个标量值，例如0。但是，那样会不会影响模型（很抱歉，但这更多是ML和适当数据集的第一个动手项目，因此请原谅我对物）？ 否则，在这种情况下我应该如何进行？

PS：我尝试过：

test = pd.read_excel("C:/Users/Shubhanshu/Desktop/test.xlsx")
X_test = test.drop(['ID', 'Salary'], axis=1)
#Keeping only numeric data

#test.dtypes
test.Salary = test.Salary.fillna('missing')
test.DOJ = test.DOJ.fillna('missing')
test.DOL = test.DOL.fillna('missing')
test.Designation = test.Designation.fillna('missing')
test.JobCity = test.JobCity.fillna('missing')
#test = test.Salary.fillna('missing')
y_test = test.Salary
#test.info
X_test.DOJ = test.DOJ.fillna('missing')
X_test.DOL = test.DOL.fillna('missing')
X_test.Designation = test.Designation.fillna('missing')
X_test.JobCity = test.JobCity.fillna('missing')
X_test = X_test._get_numeric_data()
#X_test
X_test = X_test.convert_objects(convert_numeric=True)
y_pred = clf.predict(X_test)

mae = mean_absolute_error(y_test, y_pred)
mse = mean_squared_error(y_test, y_pred)
print mse

但是显然，由于y_test在其每个单元格中都写入了所有“缺失”，因此mse或mae将不会返回任何有意义的信息。 这是我得到的回报：

ValueError                                
Traceback (most recent call last)
<ipython-input-97-b384f3be69ab> in <module>()
----> 1 mae = mean_absolute_error(y_test, y_pred)
      2 mse = mean_squared_error(y_test, y_pred)
      3 print mse

F:\PythonIDE\lib\site-packages\sklearn\metrics\regression.pyc in mean_absolute_error(y_true, y_pred, sample_weight)
    137 
    138     """
--> 139     y_type, y_true, y_pred = _check_reg_targets(y_true, y_pred)
    140     return np.average(np.abs(y_pred - y_true).mean(axis=1),
    141                       weights=sample_weight)

F:\PythonIDE\lib\site-packages\sklearn\metrics\regression.pyc in _check_reg_targets(y_true, y_pred)
     56     """
     57     check_consistent_length(y_true, y_pred)
---> 58     y_true = check_array(y_true, ensure_2d=False)
     59     y_pred = check_array(y_pred, ensure_2d=False)
     60 

F:\PythonIDE\lib\site-packages\sklearn\utils\validation.pyc in check_array(array, accept_sparse, dtype, order, copy, force_all_finite, ensure_2d, allow_nd, ensure_min_samples, ensure_min_features)
    342             else:
    343                 dtype = None
--> 344         array = np.array(array, dtype=dtype, order=order, copy=copy)
    345         # make sure we actually converted to numeric:
    346         if dtype_numeric and array.dtype.kind == "O":

ValueError: could not convert string to float: missing

在这方面的任何帮助，我将非常感谢。

Answer 1

将来您可以在问题中包含完整的追溯信息，而不仅仅是最后一行吗？ 我怀疑问题出在这里：

r_sqr = clf.score(X1, Y1)

在此， Y1代表测试数据集的因变量，它仅由“ ? ”无意义值组成。

我认为这里存在一个概念上的误解-您所做的只是没有意义的。 因为您不知道因变量的真实值，所以无法为测试数据集计算分数。