scikit-learn线性回归模型执行中的问题

Question

我有一个数据集，其样本结构如下所示：

SV,Arizona,618,264,63,923
SV,Arizona,367,268,94,138
SV,Arizona,421,268,121,178
SV,Arizona,467,268,171,250
SV,Arizona,298,270,62,924
SV,Arizona,251,272,93,138
SV,Arizona,215,276,120,178
SV,Arizona,222,279,169,250
SV,Arizona,246,279,64,94
SV,Arizona,181,281,97,141
SV,Arizona,197,286,125.01,182
SV,Arizona,178,288,175.94,256
SV,California,492,208,63,923
SV,California,333,210,94,138
SV,California,361,213,121,178
SV,California,435,217,171,250
SV,California,222,215,62,92
SV,California,177,218,93,138
SV,California,177,222,120,178
SV,California,156,228,169,250
SV,California,239,225,64,94
SV,California,139,229,97,141
SV,California,198,234,125,182

记录按company_id,state,profit,feature1,feature2,feature3 。

现在，我编写了这段代码，将他的整个数据集分解为12条记录的块（每个公司和该公司中的每个州都有12条记录），然后将其传递给process_chunk()函数。 在process_chunk()内部，将处理块中的记录并将其分为test set和training set其中记录号10和11进入test set而其余的进入training set 。 我还将存储在test set的company_id和记录state存储到全局列表中，以供将来显示预测值。 我还将预测值附加到全局列表final_prediction

现在，我面临的问题是company_list ， state_list和test_set列表的大小相同（约200条记录），但是final_prediction大小只有其他列表（100条）的一半。 如果test_set列表的大小为200，那么final_prediction是否也应该为200？ 我当前的代码是：

from sklearn import linear_model
import numpy as np
import csv

final_prediction = []
company_list = []
state_list = []

def process_chunk(chuk):

    training_set_feature_list = []
    training_set_label_list = []
    test_set_feature_list = []
    test_set_label_list = []
    np.set_printoptions(suppress=True)

    prediction_list = []


    # to divide into training & test, I am putting line 10th and 11th in test set
    count = 0
    for line in chuk:
        # Converting strings to numpy arrays
        if count == 9:   
            test_set_feature_list.append(np.array(line[3:4],dtype = np.float))
            test_set_label_list.append(np.array(line[2],dtype = np.float))
            company_list.append(line[0])
            state_list.append(line[1])

        elif count == 10:
            test_set_feature_list.append(np.array(line[3:4],dtype = np.float))
            test_set_label_list.append(np.array(line[2],dtype = np.float))
            company_list.append(line[0])
            state_list.append(line[1])

        else:    
            training_set_feature_list.append(np.array(line[3:4],dtype = np.float))
            training_set_label_list.append(np.array(line[2],dtype = np.float))
        count += 1
    # Create linear regression object
    regr = linear_model.LinearRegression()
    # Train the model using the training sets
    regr.fit(training_set_feature_list, training_set_label_list)



    prediction_list.append(regr.predict(test_set_feature_list))
    np.set_printoptions(formatter={'float_kind':'{:f}'.format})
    for items in prediction_list:
        final_prediction.append(items)




# Load and parse the data
file_read = open('data.csv', 'r')

reader = csv.reader(file_read)

chunk, chunksize = [], 12

for i, line in enumerate(reader):
    if (i % chunksize == 0 and i > 0):
        process_chunk(chunk)
        del chunk[:]
    chunk.append(line)

# process the remainder

#process_chunk(chunk)


print len(company_list)
print len(test_set_feature_list)
print len(final_prediction)

为什么会出现大小上的差异？我在代码中在这里可以纠正的错误（也许是我做的很幼稚，可以做得更好）？

Answer 1

这里：

prediction_list.append(regr.predict(test_set_feature_list))
np.set_printoptions(formatter={'float_kind':'{:f}'.format})
for items in prediction_list:
    final_prediction.append(items)

prediction_list将是一个数组列表（因为predict返回一个数组）。

因此，您需要将数组追加到final_prediction ，这可能会弄乱您的计数： len(final_prediction)可能等于块的数量。

此时，如果prediction_list的长度与test_set_feature_list长度相同，则长度是test_set_feature_list 。

您可能想使用extend这样：

final_prediction.extend(regr.predict(test_set_feature_list))

这也更容易阅读。

然后， final_prediction的长度应该final_prediction ，并且应该是单个列表，而不是列表列表。