【pg娛樂電子游戲官網】咱們為最“in”大模型，找到了別的一條解題思路

金磊 發自 凹非寺。in
量子位 | 大眾號 QbitAI。咱們

“in”。為最pg娛樂電子游戲官網，大模到別的條是型找近年來鼓起的一個網絡用語，一般是解題in fashion的簡稱，意指走在潮流最前沿。思路

跟著GPT的in爆火，生成式AI正式進入全球科技舞臺的咱們中心，大模型也現已成為當下最“in”的為最論題。

用“百模大戰”來描述當下大模型的大模到別的條熾熱程度一點也不夸大。據目前市場已發布的型找大模型產品來看，10億參數規劃以上的解題大模型產品已多達80個。

一些企業更是思路將大模型視為人工智能的中心，認為這很可能是in引領第四次工業革命的顛覆性立異技能，將推進各個職業的革新。

不過大模型已不再是你認為的“大力出奇觀”，它的展開正在迎來一些奇妙的改變——。

Smaller is pg娛樂電子游戲官網Better。

這并非是惹是生非，此話正是出自HuggingFace首席布道師Julien Simon。

但縱觀大模型（尤其是大言語模型，以下簡稱為：LLM）的展開，參數體量逐步巨大好像成為了一種大趨勢，動輒便是千億乃至萬億的量級：

△圖源：Information is Beautiful（數據到2023年7月27日）。

那么Simon如此“各走各路”的觀念，又是從何而來？

咱們都知道模型的參數體量越大，它們從很多非結構化數據中學習的體現一般就會越拔尖，但隨之而來的一個老大難問題便是需求很多的核算才能。

這也便是為什么現在人們談及大模型時，往往都繞不開。“大算力”。的原因。

（乃至連OpenAI的CEO也在為算力憂愁……）。

因而，Simon給出了新的解法，讓大模型“減肥”（Smaller）的一起還能進步功率（Better）。

并且這并非空口無憑，有測驗數據為證：

從成果上來看，測驗的各種大模型有的被“減肥”到了從前的一半，但功率反倒提了上來。

更直觀一點的，咱們能夠看下文本答復的作用：

△。大模型“減肥”后自然言語對話作用。

這便是當下大模型很“in”的一種打開方式。

站在現在這個時刻節點，咱們也想以。《最“in”大模型》。專欄的方式，供給給咱們兩個更in的解題思路：inside intel。和。in practice。。以此來對大模型這個科技圈最in的頂流做一次全新視點的解析和展望。

最Inside Intel的立異解決方案。

不只僅是在這一波大模型熱潮，自深度學習爆火以來，好像GPU比較其它硬件來說更受AI圈的喜愛。

究其原因，無外乎以下幾點：

• 并行核算才能：GPU能夠一起進行大模型練習和推理，加快核算進程。
• 加快練習速度：在傳統CPU上進行大型模型練習十分耗時，運用GPU能夠縮短練習時刻，加快模型研討和開發。
• 習慣深度學習核算：GPU高度并行的架構在深度學習的核算中體現出色，特別合適處理神經網絡的核算需求。

但開發人員往往會小瞧CPU這個“潛力股”。

沒錯，讓大模型展開產生奇妙改變的解法之一，正是。CPU。！

例如在上文Simon的比如中，他先是用SmoothQuant這種練習后量化的方法來為LLM“減肥”：將LLM一般進行練習的16位浮點參數（又叫 FP16/BF16）替換為8位整數，以便更簡單履行任務，和削減需求的內存。

然后Simon挑選試驗的CPU，正是英特爾的。第四代至強?? 可擴展處理器。，其可在AI推理方面，為大模型的落地布置供給更易獲取、使用門檻更低和性價比更高的渠道。

可是，假如你還認為英特爾只要CPU能來跑AI的話，那就又錯了。

就在上個月，英特爾新鮮出爐了AI專用加快器——Habana?? Gaudi??2，專為練習LLM而構建，并為數據中心大規劃擴展而規劃，一起為深度學習推理和練習作業負載供給更具性價比的解決方案。

要點來了！

在MLPerf最新陳述中的多種練習和推理基準測驗中，與其他面向大規劃生成式AI和LLM的產品比較，Gaudi??2具有杰出的功能，乃至能夠體現得比GPU更“專業”。

據悉，估計本年9月Gaudi??2便可支撐FP8，在協助用戶進步運營功率的一起，行將迎來更優的性價比：

客觀地說，相較于干流大模型硬件渠道，CPU雖更簡單被獲取和布置，但其供給的解法仍會更傾向于那些要求布置和使用門檻盡可能低，一起性價比較高的推理場景；但英特爾已發布的Gaudi??2和行將上臺的其他加快芯片，例如數據中心GPU，則有望完成進一步的補全，從而構成CPU可在主打通用核算時統籌AI加快，GPU供給通用加快支撐，即統籌科學核算和AI加快，而Gaudi?? 則能全神貫注專攻深度學習加快的一整套異構硬件產品布局，這種布局的含義，就在于會供給愈加多樣化、更具性價比的解決方案。

就更別提英特爾還會為多種異構硬件產品調配能夠進行一致編程、輕松搬遷并能跨異構調度算力資源的oneAPI軟件東西包了。

英特爾未來在AI或整個企業核算范疇的異構多芯布局，現已在兢兢業業地走向實際。其對CPU和AI加快器等硬件的定向優化，也讓大模型呈現了更多的可能性。

最in practice的落地實戰攻略。

當然，事實上比較于現有的干流大模型硬件渠道，咱們對英特爾硬件在大模型上的優化還缺少了解。本期專欄就將直接上干貨，為你手把手帶來最in practice的實戰攻略。

如上文中說到的使用第四代至強?? 可擴展處理器對LLM進行練習后量化的試驗，在本期專欄的榜首篇文章中，乃至還直接附上了代碼：

△啟用增強型 SmoothQuant 的樣例代碼。

是不是有一種“開箱即用”的滋味了？

一起，本期專欄也十分與時俱進地會以ChatGLM、BLOOMZ、PyTorch minGPT干流大模型為事例，step by step教你實戰優化之道。

當然，面臨實踐中可能會觸及的愈加雜亂的問題，咱們也不只局限于供給硬件加快攻略，而是會考慮到更多維度，例如LLM怎么與大數據渠道進行對接，以及怎么更好地進行數據安全或隱私方面的維護。

例如系列第二篇文章中說到的：將至強CPU渠道內置的可信履行環境（Trusted Execution Environment，TEE）類技能——SGX用于為LLM供給隱私和數據維護立異解決方案，就能夠更好地保證數據在LLM模型練習和推理進程中的保密性。

最終一點，就像咱們前文說到的，英特爾加快AI現已不再只要CPU這一個選項，所以Gaudi??2盡管剛發布不久，但在本次專欄中也會出面，并且同樣是落在實戰層面，敬請等待。

專欄中觸及CPU的實戰共享，更多是期望幫到真實要在事務中落地使用LLM的最終用戶，究竟想要在更為廣泛的職業中遍及AI使用，如能充分使用布置更為廣泛的、根據CPU的IT基礎設施和架構，是更有利于達到降本增效的方針的。

等待這些共享能協助更多布置了英特爾??渠道、對LLM摩拳擦掌的用戶，能在榜首時刻展開相關的探究和實踐，讓大模型Go to vertical + in practice。

小結。

根據職業調查、實戰事例，咱們也會從中迸發出更多大模型加快的創意。

如大模型“減肥”進步功率，定然還會有更多愈加優化的解決方案。英特爾為此專門開設了GitHub問題反應，期望與您一起討論優化之道：https://github.com/intel/neural-compressor/issues。

總而言之，英特爾選用多種處理器和加快器，并配以一致且易用的軟件東西來完成優化，已然是為大模型的展開拓荒了一條簇新的途徑。

這背面的含義，正如HuggingFace的Simon所述：

一家獨大，歷來不是一件功德。

弦外之音很明顯了：多元化的蓬勃展開才是持久之道。

本次的《最“in”大模型》專欄，或許僅僅是一個通向多元化未來的開端。

歡迎重視專欄，也十分等待能夠和咱們深入討論一波。