【pg電子·(中國)娛樂官方網站】羊駝進化成鯨魚，Meta把對齊自動化，Humpback打敗現有LLaMa模型

機器之心報導。

修改：小舟、進化陳萍。成鯨pg電子·(中國)娛樂官方網站

數據質量很重要。把敗現

這一年來，對齊k打以 ChatGPT 和 GPT-4 為代表的自動大言語模型（LLM）發展迅速，緊隨其后，模型Meta 開源的羊駝魚M有 LLaMa、Llama 2 系列模型在 AI 界也引起的進化了不小的顫動。但隨之而來的成鯨是爭議不斷，有人認為 LLM 存在一些不可控的把敗現pg電子·(中國)娛樂官方網站危險，給人類生計構成一些潛在要挾。對齊k打

為了應對這些應戰，自動對 LLM 對齊的模型研討變得越來越重要，有研討者提出指令跟從（instruction following），羊駝魚M有但這種辦法需求很多的人工注釋。但是，注釋如此高質量的指令跟從數據集消耗巨大。

本文來自。Meta AI 的研討者提出了一種可擴展的辦法即指令回譯（instruction backtranslation）。，該辦法通過主動注釋相應的指令來構建高質量的指令跟從言語模型。

論文地址：
https://arxiv.org/pdf/2308.06259.pdf。

詳細而言，該研討從一個言語模型開端，并作為種子模型，該模型在少數的種子數據以及 web 語料庫進步行了微調。種子模型的作用是用來構建練習樣本，然后這些樣本中的一些高質量樣本將會被挑選出來，接著，這些數據被用來微調一個更強壯的模型。

通過兩輪迭代的數據集對 LLaMa 進行微調，所發生的模型 Humpback 在 Alpaca 排行榜上優于其他現有的非蒸餾模型，如 LIMA、Claude、Guanaco 等。

Humpback 原意為座頭鯨，又叫駝背鯨，Meta 將模型命名為 Humpback，也別有深意吧。

之所以稱為指令回譯，研討者標明這學習了機器翻譯中經典的反向翻譯辦法，其間人類編寫的方針語句會主動用模型生成的另一種言語的源語句進行注釋。

圖靈獎得主 Yann LeCun 高度歸納了這項研討的辦法，并稱譽 Meta 這項工作為對齊研討做出重要貢獻：

還有網友對這項研討進行了很好的歸納：數據質量對大模型來說的確很重要，研討進程中，他們運用不同等級的過濾數據，微調了一個模型，成果標明，只要最好的樣本才干得出比其他樣本體現更好的模型。

該論文提出了一種需求兩個進程完結的新的數據增強范式。首要，有必要具有一組種子（指令、輸出）對和語料庫才干生成更多好的指令數據。

下圖比較了 Humpback 與一些開源模型和專有模型。

下表 4 標明，本文辦法在 65B 和 33B 模型尺度上都對錯蒸餾模型中體現最好的模型。

下面咱們看看詳細辦法。

辦法簡介。

該研討提出了一種自練習辦法（self-training），該辦法一般假定能夠拜訪根本言語模型、少數種子數據和未符號的樣本集（例如網絡語料庫）。未符號數據往往是一大堆形態萬千的文檔，由人類編寫，其間包含人類感興趣的各種論題內容，但最重要的是沒有與指令進行配對。

這兒還有兩個要害的假定，第一個假定是這個非常大的文本集（未符號樣本集）存在一些子集，合適作為某些用戶指令的生成樣本。第二個假定是能夠猜測這些候選答案的指令，這些指令能夠用于構成高質量樣本對，以練習指令遵從模型。

如下圖 1 所示，該研討提出指令回譯進程包含兩個中心進程：

自增強：為未符號的數據（即網絡語料庫）生成指令，認為指令調優發生練習數據對（指令 - 輸出）。

自辦理：自主挑選高質量樣本數據作為練習數據，以微調根底模型來遵從指令，這種辦法是迭代完結的。

其間，自辦理進程選用的 prompt 如下表 1 所示：

試驗及成果。

本文的數據集首要包含種子數據和增強數據，詳細信息如表 2 和圖 2 所示：

圖 3 標明雖然擴展了數據規劃，但沒有自我辦理（self-curation）的增強數據用來練習模型并不能進步指令跟從功能。

下圖比較了不同指令調優數據集的數據功率。

數據和模型的聯合擴展：該研討發現在 7B 模型中觀察到的數據擴展趨勢相同也適用于更大的模型。例如對 65B 的種子模型添加高質量的增強數據會帶來進一步的改善。

常識推理：該研討在五個常識推理基準進步行了測驗，SIQA 、PIQA、Arc-Easy、Arc-Challenge 和 Openbook QA （OBQA） ， 成果總結于表 5 中。成果標明，與根底模型比較，本文模型在社會推理等多個方面的體現有所進步。

MMLU：表 6 總結了不同模型在 MMLU（massive multitask language understanding）的成果。與根底模型比較，本文微調模型進步了零樣本準確率，但在 5 個樣本上下文示例中體現欠安。