IndexError 使用 pandas pivot_table 方法

Question

系統： WIN10

IDE： ANACONDA/Jupyter 實驗室

語言： Python 3.7.3 版

庫： pandas 版本 1.0.1

數據來源： https : //grouplens.org/datasets/movielens/

數據集： movies.csv； ratings.cvs (ml-25m.zip)

在嘗試編寫數據透視表時，由於某種原因我遇到了問題。 組合表有超過 2500 萬條記錄，我的代碼不斷拋出以下錯誤：IndexError: index 993158425 is out of bounds for axis 0 with size 993157686

采取了以下步驟：

1. 測試數據框的 nan 值形狀並清理它們
2. 在網上搜索錯誤代碼並沒有找到任何東西
3. 嘗試了多種編寫數據透視表的方法：.pivot 和 .pivot_table
4. 將交叉表視為一種解決方法：這行不通

代碼：

df1_movies = pd.read_csv('Data/movies.csv')
df1_ratings = pd.read_csv('Data/ratings.csv')

df1_main = pd.merge(df1_movies, df1_ratings, on='movieId')
table = df1_main.pivot_table(index='userId', columns='title', values='rating')

錯誤

IndexError: index 993158425 is out of bounds for axis 0 with size 993157686

Answer 1

感謝 David Erickson 指出關於這個主題的未解決問題：

有一個描述此錯誤的開放 Pandas 問題。 截至 2020 年 8 月 31 日，目前唯一的解決方法似乎是減少您的數據集。