【pg娛樂電子游戲官網】應對AIGC算力應戰，《敞開加快標準AI服務器規劃攻略》正式發布

“咱們把攻略揭露的應對應戰一個最中心意圖，便是算力式讓咱們少走一些彎路，削減開發迭代的敞開pg娛樂電子游戲官網本錢。讓AI芯片流片回來，加快可以更快地變成體系化的標準布算力，然后讓更多的服務用戶享用AI算力?！?月10日，器規在2023敞開核算我國社區技能峰會（OCP China Day 2023）上，劃攻浪潮信息服務器產品線總司理趙帥表明。略正

當天，應對應戰《敞開加快規范AI服務器規劃攻略》（下稱“攻略”）作為敞開核算工業成果在OCP 2023上正式發布。算力式

圖| 《敞開加快規范AI服務器規劃攻略》（來歷：材料圖）。

毋庸置疑，加快在AIGC范疇的標準布展開熱潮下，“AI大模型”已經成為2023年的服務年度熱詞。當國表里企業先后推出AI大模型的一起，AI算力需求也迎來爆發式增加。以OpenAI發布的GPT-3為例，練習該模型所需的總算力耗費到達3640 PetaFLOP/s-days（PD），需求運用10000塊GPU以及花費30天時刻，才干完結1750億參數的練習。由此可見大模型研制是pg娛樂電子游戲官網一項雜亂的體系工程，其背面既需求海量的數據集，又要有能對千億級參數大模型進行分布式練習的AI服務器集群。在這種展開態勢下，必定需求具有更高擴展性的單機和加快比更高的集群，也會對網絡帶寬、推遲和卡間互聯提出更高的要求。

為進一步破解算力供需難題，支撐更高的功耗以及帶來更強壯的卡間互聯才干，現在全球已有上百家公司參加到新式AI芯片的研制中，并已推出許多非規范PCIe CEM形狀的AI加快卡。AI核算芯片的展開，正在朝著多元化的趨勢跨進。不過，因為缺少一致的業界規范，不同廠商推出的新形狀AI加快卡也各不相同。這不只會拉高算力工業的本錢，還會下降產品的靈敏性，反過來又給AI加快器的研制和使用帶來極大阻止。

在此布景之下，《敞開加快規范AI服務器規劃攻略》應運而生。

《敞開加快規范AI服務器規劃攻略》：四大規劃準則和全棧規劃辦法。

攻略提出四大規劃準則和全棧規劃辦法，意圖在于協助社區成員更快、更好地開發契合敞開加快規范的OAM（OCP Accelerator Module，AI加快卡模塊），并供給可以更好匹配使用場景的多元AI算力產品計劃。四大規劃準則首要包含：使用導向準則、多元敞開準則、綠色高效準則、統籌規劃準則。

在使用導向上，該攻略堅持無論是加快卡規劃仍是體系規劃，都聚集實踐使用場景的準則，在充分考慮事務特色、模型特征和布置環境的根底之上，自上而下地規劃和規劃敞開加快核算體系，防止過度冗余規劃，以及因盲目尋求功能而帶來的時刻、空間、資源和本錢方面的糟蹋，以完結高效適配和布置，然后節約工業和社會總本錢。

在多元敞開上，經過開源和敞開的辦法，樹立可兼容底層硬件差異的異構協同開發渠道，在打通人工智能軟硬件工業鏈的一起，為敞開加快核算技能和工業生態的強大作出貢獻。

在綠色高效上，加快液冷散熱、高效供配電、能效監測、智能運維等技能，專心于敞開加快核算節點和集群層面的布局和使用。

在統籌規劃上，從規劃化算力布置的視點動身，不只統籌考慮了大模型分布式練習關于核算、網絡和存儲的需求，還構建了高功能、高速互聯和存算平衡的可擴展集群體系，以便滿意AI大模型的練習需求。

全棧規劃辦法，指的是攻略給出了具體的敞開加快規范AI服務器的規劃辦法，包含多維協同規劃、全面體系測驗和功能測評調優。

多維協同規劃，是指從節點到集群的軟硬全棧參閱規劃，旨在經過全方位、多維度協同芯片和體系廠商，來盡可能地削減定制開發內容，更好地完結包含核算、存儲、網絡設備等在內的一體化高集成度算力集群。在這之中，本次攻略關鍵重視AI服務器節點內和集群節點間的互聯通訊才干的進步。

全面體系測驗。是指全面整理結構、散熱、壓力、穩定性、軟件兼容性等方面的測驗關鍵。因為架構雜亂度高、芯片品種多、體系功耗大等原因，會進步異構加快核算節點的毛病率，因而只要選用更全面、更苛刻的測驗條件，才干下降體系的毛病危險，并進步體系穩定性。

在功能測評調優上，為了保證敞開加快規范AI服務器可以給干流大規劃模型供給立異使用支撐，攻略給出了關于根底功能、互連功能、模型功能測驗的關鍵和目標，以及關于大模型練習和推理功能調優的關鍵。

浪潮信息AI&HPC產品線高檔產品司理張政表明：“（有了攻略之后）關于咱們的芯片合作伙伴來講，可以快速開發新式的AI芯片，節約開發周期、削減開發本錢、加快產品的晉級和迭代；另一方面，也能協助咱們的最終用戶依照實踐使用場景，挑選多元算力解決計劃。最終目標是協同工業鏈上下游的合作伙伴，一起應對當時生成式人工智能年代的算力應戰?！?。

據了解，本次攻略首要面向兩類客戶。首要，規劃準則是依據用戶在工業展開或算力使用上遇到的痛點。比方，許多用戶在建造新數據中心時，會面對極高的能耗目標要求，所以需求經過先進的液冷等散熱技能，將整個數據中心的電能使用功率進步到更高水平，而這也是綠色高效準則的必要性地點。其次，規劃辦規律更多是面向芯片合作伙伴，可以協助他們更快地完結產品的開發和迭代，削減試錯本錢。

如前所述，該攻略可認為用戶供給多元化的算力產品計劃，那關于終端用戶來說，其又將取得哪些直觀的感觸呢？簡略來說便是，這讓AI芯片可以并行擴展到許多節點，在日子和作業的使用中也具有較高的穩定性和功率，也讓先進算力的本錢變得愈加普惠和普適。

浪潮信息服務器產品線總司理趙帥表明：“攻略實踐上是AI加快卡模塊全體規劃規范進一步的細化詮釋，并且是依據咱們的實踐事例給咱們供給了愈加清晰的規范和測驗用例。當咱們擬定一個愈加細化的規范之后，就能協助企業大大縮短從芯片到體系的時刻，并大大削減其開發費用和開發周期，更快地開釋算力的價值，這是咱們現在規劃攻略最大的價值?！?。

下降技能本錢，推進技能遍及。

事實證明，在為工業展開賦能的過程中，完結工業規范的一致敞開，可以有用下降技能本錢并推進技能遍及。而浪潮信息在敞開加快方面的優勢，首要體現在布局早和具有足夠的工業落地經歷這兩方面?，F在，已有包含浪潮信息、Intel Habana、燧原科技、百度等10+廠商，經過敞開、合作為商場推出10余款契合OAM規范的敞開加快AI服務器，并在全球規劃內展開了實踐。舉例來說：

2019年，在敞開加快器根底設施小組建立之初，浪潮信息作為中心成員主導了AI加快卡基板 OAM-UBB SPEC規劃規范的擬定，并發布了全球首個通用加快器基板UBB，以給各類AI加快器供給支撐。2020年，OAI（OpenAccelerator Infrastructure）小組發布首個AI敞開加快核算體系MX1，供給兩種互連拓撲，可以協助用戶依據不同的深度學習模型和芯片通訊需求，靈敏地規劃芯片互連計劃。2021年，浪潮信息發布首款All in One敞開加快核算整機NF5498A5，能在數據中心里完結快速落地和布置。

燧原科技是國內第一家發布并量產OAM的國內AI芯片公司，別離于2019年和2021年依據兩代“邃思”練習芯片發布了“云燧T11/T21”OAM模組。

2022年，浪潮信息與其聯合發布“錢塘江”智算中心計劃，可完結千芯級大規劃集群高速互聯，單集群200P峰值AI算力，單節點承載8顆400W高功能液冷OAM模組，支撐50℃高溫水運轉，選用先進變頻流量體系，經過進步流量改變規劃下降能耗， 智算中心全體PUE優于1.1?！板X塘江”計劃能有用支撐超千億參數巨量模型的高效、并行練習?，F在，該計劃已在大型實驗室落地1280卡規劃的全液冷AI練習集群。正是在這樣一個工業化落地的過程中，讓浪潮信息可以將這些經歷進行轉化為本次攻略并面向群眾。

未來，浪潮信息在加快多元算力使用的一起，也會讓攻略更快落地并完結更多價值。一起，其也將進一步進步算力的使用功率，爭奪在有限的算力條件下，協助更多企業更快地練習AI大模型。