【網易科技11月6日報道】今日,零萬零一萬物創始人及CEO李開復博士帶隊創辦的物宣AI 2.0公司零一萬物,宣布開源發布首款預訓練大模型 Yi-34B。布開布pg電子·(中國)娛樂官方網站零一萬物此次開源發布的模型Yi系列模型,包含34B和6B兩個版本。零萬
據了解,在 “MMLU”、布開布BBH等評測上,模型Yi-34B 表現較好,零萬但數學和代碼評測表現略遜GPT模型。物宣
pg電子·(中國)娛樂官方網站url=http%3A%2F%2Fcms-bucket.ws.126.net%2F2023%2F1106%2Fe7257b2ep00s3ozde003tc000n000hnc.png&thumbnail=660x2147483647&quality=80&type=jpg" style="margin: 0px auto; display: block;" />
據介紹,此次開源的模型Yi-34B模型,將發布可支持200K 超長上下文窗口(context window)版本,零萬可以處理約40萬漢字超長文本輸入。物宣對比大模型標桿GPT-4,布開布在CMMLU、E-Eval、Gaokao 三個主要的中文指標上,作為國產大模型的Yi-34B 能更好地滿足國內市場需求。
目前,Yi系列模型已在 Hugging Face、ModelScope、GitHub 三大全球開源社區平臺上線,同時開放商用申請,給開發者在使用LLM的過程中提供更多選擇。
據悉,本次開源的基座模型包括200K上下文窗口的基座模型,廣大開發者可以基于基座模型進行微調,GitHub 01Yi 開源網頁上已經提供了簡單的微調代碼,同時模型和主流語言模型微調框架兼容,開發者可以自行進行適配。
在 Yi 開源模型的全球首發日,李開復也宣布,在完成 Yi-34B 預訓練的同時,已經旋即啟動下一個千億參數模型的訓練?!傲阋蝗f物的數據處理管線、算法研究、實驗平臺、GPU 資源和 AI Infra 都已經準備好,我們的動作會越來越快”。李開復表示。(沈伊)