將數據集推送到 Hugging-face hub 時出現箭頭相關錯誤

Question

賞金將在 7 天后到期。 此問題的答案有資格獲得+50聲望賞金。 Tsadoq想讓更多人關注這個問題：

為這個問題找到一個可行的解決方案

我的數據集有很多問題：

（未來）數據集是我從泡菜文件加載的 pandas dataframe，pandas 數據集的行為正確。 我的代碼是：

dataset.from_pandas(df)
dataset.push_to_hub("username/my_dataset", private=True)

因為我認為這是 pandas 故障我也試過：

dataset = Dataset.from_dict(df_sentences.to_dict(orient='list'))
dataset.push_to_hub("username/my_dataset", private=True)

並從文件中加載它。

我得到的錯誤是：

ArrowNotImplementedError：Arrow 到 Parquet 架構轉換的未處理類型：字符串

我的數據集由 4 列字符串類型和一列整數組成，大約 3600 行

Answer 1

沒有可重現的樣本，很難對其進行測試，但一種選擇是將數據轉換為string[pyarrow] ：

dtypes = {
'column_a': 'string[pyarrow]',
'col_b': 'string[pyarrow]',
...
}

df_converted = df.astype(dtypes)
# proceed with the push

如果可能的話，我也會升級到最新版本，尤其是。 對於pyarrow和pandas 。