【pg電子官方網站】在大模型數量全國搶先的北京，昇騰AI“點著”首個普惠算力底座

機器之心原創。點著

作者：吳昕。大模底座

大模型在抹平 AI 模型底層架構多樣性的型數先pg電子官方網站一起，也在悄然抹去城區之間的量全差異。

站在北京石龍經濟開發區 20 號院，國搶很難將這兒與京西區域百年鋼鐵史、北京千年采煤史聯系起來。昇騰首個算力曾是普惠一代又一代人團體回憶的鐵花飛濺、機械轟鳴，點著現在已化作蔚成風氣的大模底座「京西智谷」。

2 月，型數先大模型「煉丹爐」—北京市門頭溝區與中關村開展集團、量全華為技能有限公司共建的國搶北京昇騰人工智能核算中心（以下簡稱核算中心）在 20 號院內正式點亮。6 月，北京榜首批上線運營人工智能練習算力規劃 100P。昇騰首個算力

在本年企業爭搶算力大布景下，在坐擁全國近三分之一人工智能企業、打響大模型創業「榜首槍」的北京，它是榜首個面向中小企業供給普惠算力的人工智能練習算力渠道。

7 月，核算中心又成為北京榜首個拿到「國智車牌」的「新一代人工智能公共算力開發立異渠道」，躋身國家人工智能算力開展戰略體系。

夯實的基座：算力「大」且「穩」。

走進一樓核算中心機房，原以為巨大房間里會聳峙幾座哄哄作響的「鐵皮疙瘩」，作用出人意料：一間僅 50 平米「小戶型」，里邊只要一臺 Atlas 900 AI 集群（ Atlas 900 PoD ）。

一個集群共有 8 臺機柜，中心五臺是中心核算設備，每個機柜里塞進了八個核算節點，是 100P 真實來歷。最左面兩個柜子其實是液冷分配器，決議液冷水輸往哪個管道。最右邊兩個機柜擔任高性能卡之間快速通訊。

100P 是什么概念？1P 相當于每秒可進行一千萬億次運算，100P 大約相當于五萬臺高性能電腦的算力。就核算精度而言，pg電子官方網站100P 是指半精度（ FP16 ）算力。

大模型年代有一個顯著趨勢，企業都是依據一些開源模型做微調，包含二次練習。 「他們會跟咱們要兩個節點。幾十億參數規劃的模型，一到兩天就能練習結束?！贡本N騰人工智能生態立異中心 CTO 楊光介紹說，核算中心現在有四十個節點，依照一家企業需求兩個節點來算，能夠一起服務二十多家。

繞到機柜死后，接觸背面的液冷門，感覺冰涼，大約只要十幾個度。翻開厚重的液冷門，仍然能夠感到熱風襲來。只見每臺服務器背面都有不少細長管子，直接通到服務器里：

從底部上來的液冷水經由這些管道與服務器進行熱交換，帶走熱量，使溫度下降，升溫的液冷水回到冷卻塔后，康復以往溫度。

整個進程都被關閉在液冷門里，關上門后，外面只剩嗖嗖的涼意。

得益于液冷技能，一臺機柜能夠塞進八個核算節點，傳統運營商的一個機柜一般只能放一臺，核算中心 PUE 也做到了 1.15（大都當地要求是 1.2 以下）。

現在運用到中心算力的企業大約有 36 家，算力運用率的峰值能夠到 80%。久遠來看，100P 只能算「起步價」，「企業事務對應到算力需求都很大?！贡本└耢`深瞳信息技能股份有限公司副總經理周瑞告知咱們，「像咱們這樣的企業，未來都是幾倍的算力需求?！?。

本年，核算中心算力規劃將到達 400P，并繼續擴容至 1000P。100P 算力集群內置 320 張卡，以此類推，400P 算力集群將有 1200 多張卡，1000P 集群卡數將猛增到 3200 張?？ǖ臄盗考ぴ?，工程復雜度也會呈指數級添加，這對算力集群高可用性提出巨大應戰。

比方，模型練習一個多月，現已完結 99%，忽然有張卡呈現毛病，全部只能從頭再來。高性能卡之間的通訊問題、練習時無法快速調度到滿足算力資源也常常導致練習斷掉，之前的盡力付諸東流。

為此，核算中心的集群體系供給斷點續訓才能：渠道會保存臨界點的 check point （權重文件），毛病康復之后，自動拉取一個非毛病節點，將之前保存的權重文件加載進去，繼續練習。

「咱們最長的安穩時刻能做到 25 天」楊光給了一個詳細數字。作為比照，Meta 發布 OPT- 175B 模型時曾提到它的安穩練習時刻只要 2.8 天。

針比照較聞名的開源大模型，核算中心的硬件水平可與英偉達 A100 PK，千卡 NPU 利用率基本能做到 40%。

「易用」與「普惠」：最難的是讓企業用起來。

除了算力資源充分、數據安全，價格和易用性也是任何一家想要落地職業大模型企業挑選算力底座時考慮的中心要素。

本質上，大模型是對小模型年代作坊式底層算力運作的從頭洗牌。曩昔有一個作業站、幾張顯卡就能做模型練習，現在徹底行不通。

「等了一秒鐘，底層的模型才蹦出四、五個字，然后又是幾秒的等候，體會很差?！乖谠L問未接入核算中心算力的企業后，中心作業人員介紹到： 「假如接入核算中心的算力，大約每秒能夠輸出 20 個 Token ?！?。

從 Transformer 年代開端，首要面向才智交通范疇的中科視語就在做一些大模型的根底建設。關于這樣一家才智交通范疇的成長型 AI 企業來說，自建機房練習大模型的前期本錢投入過于巨大，周期也不可控。

上一年，手握大幾百張卡的格靈深瞳也開端與核算中心協作大模型的研制，「由于需求愈加專業、體系的算力根底?！怪苋鹫f。

為了做我國醫療范疇最好的科學大模型，醫渡科技現已買走了核算中心大部分算力。

其實，像中科視語、格靈深瞳、醫渡科技這樣人工智能企業都有自己的優勢。他們往往具有一支精密的 AI 團隊、堆集多年的職業數據和自己的常識圖譜，知道怎樣將這些「獨家秘笈」、職業 know-how 與大模型更好地結合。至于算力與大模型強耦合的作業，他們更樂意交給更有經歷的協作伙伴。

在這些方面，昇騰現已堆集了二年多經歷。北京昇騰人工智能生態立異中心 COO 李天哲提到，咱們調優有很好的經歷，體系級的工程上也做了許多的優化，確保機器的高可用。

在服務定價上，「咱們不回收一次性投入數據中心的本錢，只收運維的費用（比方電，水，物業等）?！估钐煺苷f。價格相當于現在商場公有云、對外供給算力 IDC 價格的二分之一到三分之一，假如是門頭溝區的企業，費用僅為云上企業的七分之一。

相較于算力充分、高可用和普惠，核算中心面臨的最大應戰仍是依據國產、全棧自主可控算力體系的易用性。 現在核算中心也經過兩大服務，提高渠道的易用性，盡量下降客戶對國產底層硬件的感知。

一個是開源的大模型服務。在昇騰自主可控的全棧根底底座才能上，自動組織技能人員活躍適配業界干流的開源大模型。

現在，核算中心依據昇思 MindSpore/MindFormers 套件，已成功適配 LLaMA、ChatGLM、Bloom、PanGuAlpha、GPT 等干流開源 NLP 大模型和 VIT、Swin 等干流開源 CV 大模型。

核算中心還做了許多兼容第三方的算子模型還有結構，乃至引進一些加快庫和推理服務，服務上層不同結構、模型的 AI 運用。

現有依據其他體系研制的軟件是否能容易地搬遷到國產生態中，也是易用性的一個重要目標。為了讓大模型方便地搬遷到昇騰渠道，核算中心也活躍擁抱 Huggingface等開源社區，做了許多東西套件。比方，只需 5 行代碼就能快速將模型從 Huggingface 搬遷到核算中心?，F在核算中心現已完結了超越 200 個 AI 模型的搬遷。

第二個服務便是技能工程師供給貼身技能服務，包含支撐練習、微調和在線推理服務（ FaaS ，微調即服務）。

告知咱們你用的什么根底模型，把一些揭露非涉密的數據上傳到核算中心，不必企業再去做太多模型調優，咱們就能幫你調好，一到兩個月的時刻就能交給。李天哲解說說，屆時企業直接上來練習就行了。

「咱們在門頭溝有一個本地化的十幾人團隊專門做這種技能服務?！箺罟庹f?，F在，也在漸漸將一些上層運用封裝成服務，咱們對上層算法進行了布置，企業只需上傳數據，就能馬上運用。

北京昇騰人工智能核算中心現已完結了超高清視頻修正增強算法布置。

評脈趨勢：為何百億職業大模型先行？

作為核算中心榜首批運用者，中科視語在這兒完結了坤川大模型的研制及優化作業。

「咱們的感知模型最新作用 Fast Sam，對標的是 Meta 提出的 SAM（ Segment Anything Model，SAM ），在平等作用下，速度提高 50 倍，便是在門頭溝區的核算中心完結的?！怪锌埔曊Z聯合創始人張臘告知咱們。

公司視語通途?才智交通解決方案在運用場景中完結精準感知、高效運算、快速檢索等才能，也充分利用了昇騰 AI 才能。比方，依據針對 AI 場景推出的異構核算架構 CANN 及細粒度正則化模型緊縮技能完結了模型高效推理；在 MindX SDK 協助下，優化了事務功率 。

中科視語無人駕駛道面病害智能檢測車。

醫渡科技的職業模型也是本地企業與核算中心密切協作的典型比方。 「咱們期望做我國醫療范疇最好的科學大模型，」醫渡云首席數據科學家彭滔告知咱們。這家醫療 AI 技能公司現已嗅到大模型給醫療范疇帶來的巨大機會：公司的事務場景會拆解成許多產品，它們都有或許被大模型的簇新才能晉級一遍。

比方，一個新藥從科學家研制到最后的上市，或許需求十五年時刻、二十六億美金，大部分花在臨床試驗上。其間，臨床試驗的履行階段具有常識密布、時刻地域跨度大、人員流動性強的特色，這也導致企業投入數億美金，但履行作用往往像開盲盒。相似 ChatGPT 這樣的技能能夠將繁復的文檔查詢轉化為一個問題，有利于試驗履行階段新進人員快速把握布景常識，添加作用可控性。

醫渡科技的職業大模型現在有兩個版別（ 70 億、130 億），公司也在與核算中心協作，「調一些基座的模型，疊加數據進行繼續的精進，經過輕量的東西到達更好的作用?！?彭滔說。醫渡科技有自己的優勢，堆集了相當多的醫學洞見和疾病常識圖譜，也在不斷測驗怎樣更好地將常識圖譜與大模型相結合。

在才智體感方面深耕的北京格靈深瞳信息技能股份有限公司與昇騰之間的協作已有 5 年之久。據格靈深瞳副總經理周瑞介紹，公司現在正在圖畫大模型預練習、微調以及核算加快等底層技能上與核算中心協作。另一方面，大模型落當地面也依托核算中心，供給推理服務。

格靈深瞳大規劃沉溺式人機交互體系是一種能夠供給沉溺式交互體會的空間型XR產品，游戲是其首要運用范疇之一。

現在，核算中心在才智動力、才智醫療、才智城市、才智交通、才智金融等職業輸出依據昇騰 AI 根底軟硬件渠道的立異解決方案現已超越 250 項。

依據昇騰對大模型開展趨勢的判別，未來千億大模型會走向收斂，職業大模型將迎來百家爭鳴，其間，百億等級的職業大模型大約占 75%，構成算力需求主體，也是昇騰 AI 基座要點支撐的目標。

詳細而言，大模型的榜首個開展階段是千億級大模型。由于常識量十分巨大，它會是千億練習、千億推理，用一些高端的卡（像曾經的練習卡）去做模型推理。落地場景或許會以 2C 為主，就像 ChatGPT 、百度文心一言和訊飛星火大模型都有人機對話的功用。

關于 2C 來講，人工智能大模型還有很長的一段路要走，面臨許多的用戶量和算力需求，終究怎樣落地，客戶怎樣付費？怎樣下降推理本錢？都是很大的應戰。

在第二階段，會有許多散布在中長尾部分，面向職業的大模型。 咱們估量大部分是 7B、13B 的模型，13B 或許會是一個面向職業的大模型干流規劃。楊光解說道。由于，與千億級的通用大模型比較，職業大模型的推理本錢沒那么高。一方面，職業常識量要求沒有那么通用，參數量不必那么多。另一方面企業用戶也會尋求極致性價比。

人工智能要走向千行百業，百億職業大模型的孵化或許會是爆發式，昇騰也因而選用一些百億規劃的職業模型作為算力產品的首要支撐目標。

世人拾柴，天然成長。

現在，昇騰 AI 芯片現已孵化了 30 多個大模型，國內原創的大模型一半依據昇騰開發。

比較前大模型年代打造算力底座的繁瑣，大模型對國產化渠道來說，其實是一個利好。曩昔視覺范疇的模型結構各異，數都數不過來?，F在干流開源大模型也就五、六個，許多企業都是依據干流開源模型做改造和練習。

「所以，咱們只要把 LLAMA 等幾個干流開源大模型的支撐做到極致，就能從金融、互聯網走向千行百業?！箺罟庹f。

不過，核算中心也認識到自己對這些開源大模型的支撐，很難在榜首時刻完結擬合、適配，會有開發 bug 等問題。這也是他們對培養我國自己的開源社區、打造昇騰 AI 原生大模型抱以極大等待的原因。

咱們還在本年推出了面向算子開發場景的昇騰 Ascend C 編程言語?！钙谕嗨惴üこ處熌苡脮N騰 Ascend C 來寫自己的算子?！箺罟庹f。

核算中心也在與北京高校協作，經過立異大賽、協作立異課程等方法，讓昇騰 AI 渠道、Ascend C 為更多年輕人所了解，隨同他們的成長腳印，一路滲透到職業深處。

開展大模型，算力、模型、生態，缺一不可。昇騰底座能否成為更多職業客戶的挑選，仍是要看企業是否感到好用，要看昇騰的生態，這并非單靠昇騰就能做起來，需求世人拾柴。

這兒最要害的是時刻，就跟農人種田相同，需求漸漸耕耘，天然成長。