Huggingface中DataCollator和DataLoader如何處理？
[英]How to deal with DataCollator and DataLoaders in Huggingface?
我在組合 DataLoader 和 DataCollator 時遇到問題。 以下帶有 DataCollatorWithPadding 的代碼會導致ValueError: Unable to create tensor, you should probably activate truncation ...
Pytorch 從數據集中刪除特征列
[英]Pytorch delete features columns from dataset
我在下面有一個數據集，想從 A - F 中刪除特征數據集是從 python dataframe 轉換而來的 數據集 output 如下所示 }) 結果如下 }) ...
將數據集推送到 Hugging-face hub 時出現箭頭相關錯誤
[英]Arrow related error when pushing dataset to Hugging-face hub
賞金將在 7 天后到期。 此問題的答案有資格獲得+50聲望賞金。 Tsadoq想讓更多人關注這個問題： 為這個問題找到一個可行的解決方案我的數據集有很多問題： （未來）數據集是我從泡菜文件加載的 pandas dataframe，pandas 數據集的行為正確。 我的代碼是： 因為我認為這是 ...
為什么 Pytorch 數據集 class 沒有返回列表？
[英]Why Pytorch Dataset class does not returning list?
我正在嘗試在自定義數據集上使用 torch.utils.Dataset。 在我的數據集中，我在一行中列出了 10 張圖像，如下所示： 我希望像這樣從數據加載器返回批處理，batch_size=4 但是，我越來越像這樣， 這是我的代碼： 我不知道是什么問題。 誰能幫忙？ TIA。 ...
如何將自定義數據集保存在本地文件夾中
[英]How to save custom dataset in local folder
我創建了一個自定義 huggingface 數據集，其中包含來自 json 行文件的圖像和地面實況數據。 我想將它保存到一個本地文件夾，並能夠通過將它加載到其他筆記本上來按原樣使用它。 我不知道這是怎么發生的。 ...
Huggingface 數據集 map 將列表保存為 numpy 數組而不是列表
[英]Huggingface dataset map saves list as numpy array instead of as a list
我一直在嘗試使用 function 將列表輸出到 map 到我的數據集。 但是，當嘗試將 output 傳遞給 csv 或 DataFrame 時，它顯示為 Numpy 數組而不是列表。 如果我有以下 function： 所以，我非常有意地將火炬張量傳遞給一個列表。 然后我 map 它到數據集來保存 ...
擁抱面孔 - PyTorch RuntimeError：nll_loss_forward_reduce_cuda_kernel_2d_index 未為 Int 實現
[英]Hugging Face - PyTorch RuntimeError : nll_loss_forward_reduce_cuda_kernel_2d_index not implemented for Int
我試圖通過遵循https://huggingface.co/docs/transformers/tasks/audio_classification上的教程並復制和粘貼所提供的代碼來為音頻分類任務微調Wav2vec2 model。 但是，我在訓練model的時候遇到了如下錯誤：nll_loss_fo ...
將特征投射到 ClassLabel
[英]Cast features to ClassLabel
我有一個類型為 dictionary 的數據集，我將其轉換為Dataset ： ds = datasets.Dataset.from_dict(bio_dict) 現在的形狀是： 當我使用Datasets的train_test_split function 時，我收到以下錯誤： ValueEr ...
將字典轉換為 datasets.arrow_dataset.Dataset
[英]Convert dictionary to datasets.arrow_dataset.Dataset
我正在嘗試使用Pokemon 微調筆記本，它使用Pokemon BLIP 字幕數據集； 請參閱Lambda Labs 示例存儲庫中的GitHub ； 訓練代碼在justinpinkney/stable-diffusion代碼庫中。 我想在專輯封面的MuMu 數據集上微調 Stable Diffus ...
如何更改 Huggingface 上的數據集格式
[英]How to change the dataset format on Huggingface
我有一個看起來像這樣的數據集： 此數據集已在 Huggingface 上： https://huggingface.co/datasets/oo92/diffusion-dataset/viewer/oo92--diffusion-dataset/train url列是與text列條目對應的圖像的 ...
嘗試加載 Huggingface 數據集時出現 Errno 13 Permission denied 錯誤
[英]Errno 13 Permission denied error when trying to load Huggingface dataset
我正在嘗試做一件非常簡單的事情：在我的 Mac 上從 Huggingface 庫（請參閱此處的示例代碼）加載數據集： 我收到以下錯誤： 我剛剛花了一個小時在谷歌上搜索解決方案，但到目前為止沒有任何效果。 任何人都可以幫忙嗎？ 提前致謝！ ...
使用 hugginface 數據集標記 model
[英]Labeling model with hugginface Dataset
賞金將在 3 天后到期。 此問題的答案有資格獲得+50聲望賞金。 Norhther正在從有信譽的來源尋找答案。 我有以下代碼 在這里，我正在從 SegmentAi API 格式轉換為Huggingface Dataset 。 但是，我想提取 label 以使以下代碼正常工作： 在數據集的每個樣本 ...
StableDiffusion Colab - 如何“確保您使用 `huggingface-cli login` 登錄？”
[英]StableDiffusion Colab - How to "make sure you're logged in with `huggingface-cli login`?"
我正在嘗試運行 Huggingface StableDiffusion 生成文本到圖像 model 的 Colab 示例： https://huggingface.co/CompVis/stable-diffusion https://colab.research.google.com/gith ...
如何運行與擁抱臉的訓練器 api 並行的分布式數據的端到端示例（理想情況下在單節點多 GPU 上）？
[英]How to run an end to end example of distributed data parallel with hugging face's trainer api (ideally on a single node multiple gpus)?
我已經廣泛瀏覽了互聯網，擁抱臉（hf's）討論論壇和回購，但沒有發現如何正確處理與 HF 並行的 ddp/分布式數據的端到端示例（最后的鏈接）。 這就是我需要能夠端到端地運行它： 我們是否將 hf model 包裝在 DDP 中？ （腳本需要知道如何在某個地方以某種方式同步內容，否則只需從命令行 ...
如何將數據集與服裝 function 一起使用？
[英]How to use dataset with costume function?
我想用參數調用DatasetDict map function，我不知道該怎么做。 我有 function 和以下 API： 當我嘗試以這種方式使用時： 我收到錯誤： 在我的示例中，如何調用map function ？ ...
如何將 Pandas DataFrame 轉換為 Huggingface 數據集 object？
[英]How do I convert Pandas DataFrame to a Huggingface Dataset object?
我有以下df： 如何轉換為 Huggingface 數據集？ ...
如何獲取 Huggingface 數據集的唯一行？
[英]How can I take the unique rows of a Huggingface Dataset?
Huggingface 數據集有一個unique方法，它為特定列生成一個唯一 val 的列表。 這種方法非常快。 我想做類似的事情，但有兩個不同之處： 我不僅需要第一列（ id ），還需要另一列（ answer ）。 對於每個id ，每個answer都是相同的，因此對於給定的id ，我們從哪一行 ...
我可以可視化 datasets.Dataset 的內容嗎？
[英]Can I visualize the content of a datasets.Dataset?
我正在使用 Huggingface datasets庫從 pandas dataframe 加載數據集。 代碼與此類似： 一切都很順利，但是，我想仔細檢查加載的Dataset的內容。 我一直在尋找類似於我們在 Pandas 中的df.head()的東西，但我在 Huggingface 官方文檔中一 ...
以文本格式下載數據
[英]Download data in text format
如何從擁抱臉網站下載數據？ 例如，我嘗試下載示例數據集... 重用數據集 oscar (/root/.cache/huggingface/datasets/oscar/unshuffled_deduplicated_mr/1.0.0/84838bd49d2295f62008383b0562 ...
使用 Huggingface 分詞器時如何保留數據集的原始列？
[英]How to preserve the original columns of a dataset when using Huggingface tokenizer?
賞金將在 14 小時后到期。 此問題的答案有資格獲得+200聲望賞金。 SRobertJames想引起對這個問題的更多關注： 對如何廣泛處理這個問題進行扎實的討論是所需要的； 這比僅在一種情況下處理它的幾行代碼要好。 （“教我釣魚……”） 當使用帶有return_overflowing_tok ...