微調預訓練的 LLM 以進行問答

[英]Fine-tuning a pre-trained LLM for question-answering

客觀的我的目標是在有關曼聯 (MU) 2021/22 賽季（他們的賽季表現不佳）的數據集上微調預訓練的 LLM。 我希望能夠向經過微調的 model 提示諸如“MU 如何改進？”或“MU 最大的弱點是什么？”等問題。 理想的回應是有洞察力/邏輯和+100字數據我將簡單地使用相關維基頁面中的文本作為我 ...

通過HuggingFace確定T5 model生成序列的概率

[英]Determining the probability of a sequence generated by T5 model by HuggingFace

我正在使用 HuggingFace 的 T5-Large 進行推理。 給定前提和假設，我需要確定它們是否相關。 因此，如果我輸入一個字符串"mnli premise: This game will NOT open unless you agree to them sharing your info ...

將 EluetherAPI GPT 模型用於 NLP 任務

[英]Using EluetherAPI GPT models for NLP tasks

EluetherAPI 基於 PILE 數據集發布了很多 GPT 模型，等同於原始的 GPT 模型。 由於它們是在更大的數據集上訓練的，我們可以在同一個模型上執行多個 NLP 任務，而無需重新訓練模型，只需幾個提示，或通過使用少樣本學習提供一些上下文。 我正在努力實現同樣的目標。 但問題是返回文本 ...