[英]Getting a memory error when using sklearn.cluster Kmeans
正如標題所述,當我嘗試使用kmeans.fit()
時出現內存錯誤。
我使用的數據集大小:
print(np.size(np_list)): 1248680000
print(np_list.shape): (31217, 40000)
我的代碼,我正在運行,給我一個內存錯誤是:
with open('np_array.pickle', 'rb') as handle:
np_list = pickle.load(handle)
kmeans = KMeans(n_clusters=5)
kmeans.fit(np_list)
centroids = kmeans.cluster_centers_
labels = kmeans.labels_
print(centroids)
print(labels)
我正在處理一個 32k 圖像的數據集,每個圖像都是黑白的,最初是 200x200。 我將 200x200 維度按行主要順序轉換為 40k 的單個維度。
回溯說明:
Traceback (most recent call last):
File "C:/Project/ML_Clustering.py", line 54, in <module>
kmeans.fit(np_list)
File "C:\Users\me\AppData\Local\Continuum\anaconda3\lib\site-packages\sklearn\cluster\k_means_.py", line 896, in fit
return_n_iter=True)
File "C:\Users\me\AppData\Local\Continuum\anaconda3\lib\site-packages\sklearn\cluster\k_means_.py", line 283, in k_means
X = as_float_array(X, copy=copy_x)
File "C:\Users\me\AppData\Local\Continuum\anaconda3\lib\site-packages\sklearn\utils\validation.py", line 88, in as_float_array
return X.copy('F' if X.flags['F_CONTIGUOUS'] else 'C') if copy else X
MemoryError
基於Lloyd's algorithm
的KMeans
聚類方法的經典實現。 它在每次迭代時消耗整個輸入數據集。 您可以嘗試使用小批量對中心位置進行增量更新的sklearn.cluster.MiniBatchKMeans
。 對於大規模學習(比如 n_samples > 10k), MiniBatchKMeans
可能比默認的批處理實現快得多。
from sklearn.cluster import MiniBatchKMeans
with open('np_array.pickle', 'rb') as handle:
np_list = pickle.load(handle)
mbk = MiniBatchKMeans(init ='k-means++', n_clusters = 5,
batch_size = 200,
max_no_improvement = 10, verbose = 0)
mbk.fit(np_list)
從這里閱讀有關MiniBatchKMeans
更多信息。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.