【pg電子·(中國)娛樂官方網站】AMD MI300絕殺英偉達H100？跑GPT

新智元報道

編輯：好困 Aeneas

【新智元導讀】面對即將到來的AI芯片大決戰，不少芯片初創公司躍躍欲試，偉達希望一舉打破英偉達的殺英pg電子·(中國)娛樂官方網站壟斷地位。而AMD的偉達MI300，在部署32K上下文窗口的殺英GPT-4模型時，居然比H100效果更好？

AI芯片大決戰，偉達即將來臨！殺英

AI硬件開發商初創公司的偉達未來會怎樣？

Tenstorrent CEO David Bennett直言不諱地表示，在我們這個行業，殺英大部分初創公司的偉達結局就是倒閉。

該如何生存？他建議初創企業應該保持靈活性，殺英避免將自己局限在狹隘的偉達用例中。

這里，殺英Bennett指的偉達并不是某個小眾市場， 而是殺英由SiMa.ai到Cerebras等數十家公司組成的一個廣泛集團。他們共同籌集了數十億美元的風投，來對抗這個市場的領導者——英偉達。

Bennett深諳此道。他曾在AMD從事銷售工作十多年。

而他目前的雇主Tenstorrent的CEO，是pg電子·(中國)娛樂官方網站Jim Keller，一位硬件傳奇人物。他曾開發出支持iPhone 4和iPad 2的蘋果A4和A5處理器，并在2016年至2018年負責特斯拉自動駕駛汽車的硬件工作。

Tenstorrent公司已經從富達風投和現代汽車等投資者籌集了超過3億美元的資金，它遵循了Bennett的建議：從芯片到云計算等，提供一切服務。

Bennett表示，如今的芯片初創公司，大致都是在「為AI制造專用硬件」和「依賴當下流行模式」這兩者之間徘徊。

英偉達的劣勢：很難從頭制造芯片

英偉達的AI芯片GPU起家的故事，實際上為今天的芯片初創公司提供了優勢。

圖形處理單元起初是為計算機圖形學提供動力的，但由于它能并行執行多種計算，才在AI應用領域大放異彩。

不過，但這一意外也給英偉達帶來了不利因素——現在，英偉達很難在不影響現有GPU業務的情況下，從頭開始制造芯片了，而這，就給了新興初創公司提供了機會，制造專為AI打造的新硬件。

比如，Tenstorrent的工程師就為未來的稀疏神經網絡設計了Grayskull芯片，在這種網絡中，冗余信息可以被去除。

盡管如此，Bennett認為，專注于為大語言模型構建芯片的初創公司，和Transformer架構捆綁得太緊了。

在這種架構下，基于Transformer的模型基本是在預測最有可能出現的下一個單詞，因此它們一直被詬病生成的回答是基于概率，而非基于推理。

這也就意味著，在當前的AI熱潮中，這些模型架構可能無法幸存下來。

畢竟，由于發展速度太快，如今的LLM壽命相對較短。昨天還炙手可熱的模型，一兩周后可能就會銷聲匿跡。

另一個對硬件公司來說風險很大的領域，就是制造專門用于推理的芯片。

這方面的代表是芯片開發商d-Matrix，它計劃在明年上半年發布推理專用芯片。

乍一看，這個策略似乎不錯。生成式AI應用的用戶現在會越來越多地利用現有的專有或開源模型，而不是從頭開始構建自己的模型。

正因如此，許多人認為，應該在模型推理上花更多錢，而非模型訓練上。

雖然從商業角度來看，這可能是一個明智之舉，但Bennett認為，過于狹隘地專注于推理，會阻礙硬件開發人員為其他可能更受歡迎的用例提供服務。

例如，對于運行模型所需的低精度計算，純推理芯片就夠了。

但是，如果開發者想要微調大模型，就很可能需要能處理更高精度計算的芯片了。

尖端芯片，把GPU和CPU放在一起

為了在即將到來的AI芯片大決戰中幸存，芯片開發商需要改變芯片的架構。

今天，大多數芯片都是把GPU和CPU分開的。前者能夠同時執行多種計算，后者負責執行更多的通用指令，管理更廣泛的系統操作。

然而越來越多的尖端芯片（如英偉達的Grace Hopper 超級芯片和AMD即將推出的MI300A），都將GPU和CPU放在一起。

這種布局可以讓CPU更快地準備數據，將數據加載到GPU上，從而加快模型的訓練。

另外，硬件初創公司想要打破英偉達的市場主導地位，還面臨著一個最大的障礙，就是軟件優勢。

英偉達用于編寫機器學習應用程序的Cuda軟件，只能在自家芯片上運行。而這實際上就把開發者鎖定在了英偉達GPU上。

AMD MI300跑GPT-4更6

英偉達的霸主地位，就這么難以撼動？

Semianalysis記者Dylan Patel和Myron Xie最近就發文稱，AMD的MI300在性價比方面，將會明顯優于英偉達的H100！

他們表示，隨著新一代MI300的推出，AMD即將成為英偉達和谷歌在LLM推理領域唯一的競爭對手。

相比之下，Groq、SambaNova、英特爾、亞馬遜、微軟等公司仍無法與之抗衡。

此外，為了應對英偉達基于CUDA構建的護城河，AMD一直在大力投資自己的RoCM軟件、PyTorch生態系統和OpenAI的Triton。

隨著Databricks、AI21、Lamini、Moreph等公司開始使用AMD GPU進行推理/訓練，AMD自己的生態也愈發完善。

據業內人士透露，擁有更大顯存的MI300，在部署32K上下文窗口的GPT-4模型時效果更好。

具體來說，與H100相比，MI300的性能優勢在20%到25%之間，具體取決于上下文長度和提示長度/每次查詢輸出的token數量。

再加上更低廉的價格，MI300在性價比方面，將會明顯優于英偉達的H100，甚至是H200。

大廠紛紛下單

目前，微軟、Meta、甲骨文、谷歌、Supermicro/Quantadirect、亞馬遜等公司已經向AMD下了大約205,000臺MI300的訂單。

在這之中，有120,000臺專門供應給微軟，25,000臺給Meta，12,000臺給甲骨文，8,000臺給谷歌，5,000臺給亞馬遜公司，35,000臺給其他公司。

而且由于數量巨大，微軟購買MI300的價格預計要比其他客戶低上不少。

為了計算MI300在明年為AMD帶來的收入，需要從兩個角度進行分析：AMD能確保多少供應量，以及主要客戶會訂購多少。

在供應方面，MI300的產能將在年內逐步提升，但由于英偉達B100會在第二季度開始出貨，并在第三季度隨著性價比更高的風冷版的推出而大幅提升，這將在很大程度上影響AMD在第四季度的出貨量。

同時，還需要考慮內存制造商的HBM產量、CoWoS產量、封裝產量以及使用CoWoS生產的每種加速器的情況，包括英偉達、AMD、Google/Broadcom、Meta/Broadcom、Intel/Al Chip、Amazon/Al Chip、Amazon/Marvell、Microsoft/GUC等。

即便如此，業內依然認為MI300X第四季度的出貨量可以達到110,000臺。

客戶方面，微軟、Meta、甲骨文、谷歌、Supermicro/Quantadirect和亞馬遜是訂單的主要來源，但也有一些訂單來自供應鏈的其他部分，包括一些用于HPC型應用的MI300A。

利潤方面，英偉達并沒有降價的跡象，只是在價格不變的情況下增加了HBM容量/帶寬。而與英偉達超過80%的利潤率相比，AMD在MI300上的利潤率僅勉強超過了50%。

AMD首席執行官蘇姿豐表示，基于公司在AI方面的快速進展以及云計算客戶的購買承諾，數據中心GPU的收入預計將在第四季度達到4億美元，2024年將超過20億美元。

這一增長也將使MI300成為AMD歷史上銷售額最快達到10億美元的產品。

對此，業內對于MI300X的銷售額則更加樂觀——預期可以達到35億美元。

從AMD目前在LLM訓練和推理領域小于0.1%的市場份額來看，AMD在數據中心領域的市場份額依然會穩步增長。

參考資料：

https://www.theinformation.com/articles/an-ai-chip-armageddon-is-coming-biden-punts-on-open-source-llms?rc=epv9gi

https://www.semianalysis.com/p/amd-mi300-ramp-gpt-4-performance