財聯社9月20日訊(編輯 史正丞)北京時間周三凌晨,紅隊美國科技初創公司OpenAI發布公告,宣布宣布啟動全球招募“紅隊”網絡成員,公開pg電子官方網站旨在引入外部力量,招募提前挖掘出AI系統存在的網絡缺陷和風險。
(來源:OpenAI)
所謂的“紅隊”網絡,即Red Teaming,欲出概念來自于軍事模擬。紅隊即找一隊人來模擬假想的宣布“敵人”,來測試本方(即“藍隊”)的公開準備水平。在AI領域中,招募“紅隊”的網絡任務就是模擬黑客或者其他的潛在危險人物,試圖找到大語言模型的專家庫漏洞,從而避免AI在現實社會中協助從事危害社會安全等不法目的欲出。
OpenAI表示,紅隊pg電子官方網站過去幾年里一直有不同領域的專家來協助測試未發布的模型,現在則是要組建一支“常規部隊”,網羅大量來自不同地域、不同語言、不同專業領域、不同生活經驗的人,共同使得AI模型更加安全。與過往僅在重要版本上線前招一批人集中測試不同,OpenAI將會根據需求在整個開發周期中啟用數量不定的成員展開測試。
同時這個“紅隊”網絡也將成為OpenAI的全球專家庫,同時OpenAI也會提供平臺,讓“紅隊”成員之間進行交流。OpenAI也在官網上列出部分他們希望招募的專家方向,但也強調并不局限于這些領域。
Cognitive Science:認知科學
Chemistry:化學
Biology:生物學
Physics:物理學
Computer Science:計算機科學
Steganography:隱寫術
Political Science:政治學
Psychology:心理學
Persuasion:說服
Economics:經濟學
Anthropology:人類學
Sociology:社會學
HCI (Human-Computer Interaction):人機交互
Fairness and Bias:公平與偏見
Alignment:目標對齊
Education:教育
Healthcare:醫療保健
Law:法律
Child Safety:兒童安全
Cybersecurity:網絡安全
Finance:金融
Mis/disinformation:誤/假信息
Political Use:政治應用
Privacy:隱私
Biometrics:生物識別
Languages and Linguistics:語言與語言學
順便一提,OpenAI也表示會給參與“紅隊”項目的成員支付酬金(但沒講具體會給多少錢),但OpenAI也強調,參與“紅隊”的項目一般會要求簽署保密協議,或者在某一段不特定的時間內保持沉默。
OpenAI表示,申請通道將會在今年12月1日前保持開放,公司將滾動審核申請,后續將評估是否需要再進行公開招募。
走上臺面的OpenAI“紅隊”成員
正如OpenAI所述,“紅隊”的建制已經存在很久,而且有不少成員已經接受過媒體的公開專訪了。
在今年4月英國《金融時報》的揭秘文章中,美國羅徹斯特大學的化學工程教授Andrew White介紹稱他參加了GPT-4的“紅隊”測試,他的攻擊目標是用ChatGPT來創造一種全新的神經毒素。White表示他用了“插件”功能,向大模型輸送化學論文和化學制造商的目錄,大模型甚至還給他找到了一個可以生產假想毒素的地方。
White表示,大模型最終可以幫助許多人更快、更準確地做化學試驗,但這里也有一個嚴重的危險,就是會有些人拿AI去做一些危險的嘗試。
在得到White的反饋后,OpenAI對系統做出了改動,確保不會回應類似的提問。根據媒體找到的10來個背景迥異的“紅隊”成員——有律師、教師、風控人員、安全研究人員等,大多數都位于美國和歐洲。他們透露,在GPT-4發布前的幾個月里,他們大致花了10-40個小時來測試這個模型,報酬大概是每個小時100美元。
下一篇:V觀財報|違規申購7億私募基金,隆鑫通用及實控人等收警示函
上一篇:誰是你的最愛?94年世界杯部分國家隊的10號球員,你全都認識嗎?