【pg電子官方網站】中國科學院院士何積豐：應對大模型的安全問題，需設好“緊箍咒”

9月7日音訊，緊箍咒在今天開幕的中國2023 INCLUSION·外灘大會上，中國科學院院士何積豐表明，科學pg電子官方網站大模型的院院應對安全問題主要是在未經贊同的情況下，搜集、士何運用和走漏個人信息。積豐隱私問題既可能發生在練習進程，大模也可能發生在運用進程中，型的需設而大模型的安全生成才能則讓“隱私走漏”的方法變得多樣化，形成隱私維護愈加困難。問題

“為了應對這些問題，緊箍咒pg電子官方網站咱們需求大模型對齊技能。中國”何積豐說，科學“對齊（alignment）”是院院應對指體系的方針和人類價值觀共同，使其契合設計者的士何利益和預期，不會發生意外的有害成果?！叭绻讶斯ぶ悄芸醋魑饔斡浝锏膶O悟空，‘對齊’便是唐僧的緊箍咒。有了緊箍咒，就可以確保技能不會恣意運用才能肆無忌憚?！?。

不過，對齊技能相同面對應戰。首要，對齊的根底，人類的價值觀是多元且動態改變的，需求確保大模型為人服務、行善積德；其次，大模型的有用性與無害性之間方針也不完全共同。怎么對過錯進行有用糾正，設好大模型的“緊箍咒”也是應戰。

因而，對齊技能已經成為了一項令人目不暇接的跨學科研討，不只檢測技能，也審視文明。

何積豐介紹，反應強化學習是完成對齊的技能途徑，現在有兩種方法，一種方法是經過人工反應給模型不同的獎賞信號，引導模型的高質量輸出；另一種方法，事先給大模型供給清晰的準則，體系主動練習模型對一切生成的輸出成果供給初始排序?！斑@意味著，不只智能體系需求向人類價值觀對齊，人類的練習方法也要向價值觀對齊?！焙畏e豐說。 （一橙）。