使用分類變量使用sklearn進行線性回歸

Question

我試圖使用sk-learn在Python中運行常用的線性回歸，但是我有一些我不知道如何處理的分類數據，特別是因為我使用pandas read.csv()導入了數據並且我學到了從以前的經驗和閱讀看，熊貓和sk-learn相處得不好（還）。

我的數據如下：

Salary  AtBat   Hits    League  EastDivision
475     315     81      1       0
480     479     130     0       0
500     496     141     1       1

我想使用AtBat，Hits，League和EastDivision來預測薪水，其中League和EastDivision是絕對的。

如果我通過numpy的loadtext()導入數據，我得到一個numpy數組，理論上我可以使用sklearn，但是當我使用DictVectorizer時，我得到一個錯誤。 我的代碼是：

import numpy as np
from sklearn.feature_extraction import DictVectorizer as DV

nphitters=np.loadtxt('Hitters.csv',delimiter=',', skiprows=1)
vec = DV( sparse = False )
catL=vec.fit_transform(nphitters[:,3:4])

當我運行最后一行catL=vec.fit_transform(nphitters[:,3:4])時出現錯誤，錯誤是

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib/python2.7/dist-packages/sklearn/feature_extraction/dict_vectorizer.py", line 142, in fit_transform
    self.fit(X)
  File "/usr/lib/python2.7/dist-packages/sklearn/feature_extraction/dict_vectorizer.py", line 107, in fit
    for f, v in six.iteritems(x):
  File "/usr/lib/python2.7/dist-packages/sklearn/externals/six.py", line 268, in iteritems
    return iter(getattr(d, _iteritems)())
AttributeError: 'numpy.ndarray' object has no attribute 'iteritems'

我不知道如何解決它，另一件事是，一旦我得到分類數據，我該如何運行回歸？ 就像分類變量是另一個數字變量一樣？

我發現了幾個類似於我的問題，但沒有一個問題對我有用。

Answer 1

看起來.fit_transform()需要一個dict但.loadtxt()創建一個numpy數組。

您可以使用.to_dict()與讀取數據后pandas 。

Answer 2

基本上會發生的是你將1和0的向量傳遞給一個函數，該函數將獲取鍵和值（如字典）並為你創建一個表

D = [{'foo': 1, 'bar': 2}, {'foo': 3, 'baz': 1}]

會變成

array([[ 2.,  0.,  1.],
       [ 0.,  1.,  3.]])

要么

|bar|baz|foo  |<br>
|---|---|-----|<br>
| 2 | 0 | 1   |<br>
| 0 | 0 | 3   |<br>

閱讀： http ： //scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.DictVectorizer.html

在你的情況下，數據已准備好進行線性回歸，因為功能聯盟和東部分區已經是假人。

Answer 3

scikit-learn有兩個新功能可以幫到你

sklearn.preprocessing.LabelBinarizer
sklearn.preprocessing.LabelEncoder

如果您想在一行中處理多個值，

sklearn.preprocessing.MultiLabelBinarizer

例如：

array = [(dog, cat),(dog),(dog,fish)]
mb = MultiLabelBinarizer()
mb.fit_transform(array)

>> array([1, 0, 1, 0, 0, 0],
       [0, 1, 0, 0, 1, 1],
       [0, 0, 1, 1, 0, 0]])