【pg娛樂電子游戲官網】揭秘iPhone里的Transformer：根據GPT

魚羊 發自 凹非寺。揭秘據
量子位 | 大眾號 QbitAI。揭秘據

蘋果Transformer的揭秘據pg娛樂電子游戲官網“隱秘”，讓發燒友給扒出來了。揭秘據

大模型浪潮下，揭秘據即便保存如蘋果，揭秘據也每當發布會必提“Transformer”。揭秘據

比方，揭秘據在本年的揭秘據WWDC上，蘋果就已宣告，揭秘據船新版別的揭秘據pg娛樂電子游戲官網iOS和macOS將內置Transformer言語模型，以供給帶文本猜測功用的揭秘據輸入法。

蘋果官方沒有泄漏更多信息，但技能愛好者們可坐不住了。揭秘據

一位名叫Jack Cook的揭秘據小哥，就把macOS Sonoma beta翻了個底朝天，成果，還真挖出不少新鮮信息：

• 模型架構上，Cook小哥以為蘋果的言語模型更像是依據。GPT-2。打造的。
• 在分詞器（tokenizer）方面，表情符號。在其間非常杰出。

更多細節，一同來看。

依據GPT-2架構。

先來回憶一下蘋果依據Transformer的言語模型能在iPhone、MacBook等設備上完結怎樣的功用。

首要體現在輸入法方面。言語模型加持下的蘋果自帶輸入法，可以完結單詞猜測和糾錯的功用。

Jack Cook小哥詳細測試了一下，發現這個功用首要完結的是針對單個單詞的猜測。

△圖源：Jack Cook博客文章。

模型有時也會猜測行將呈現的多個單詞，但這僅限于語句語義非常顯著的狀況，比較相似于Gmail里的主動完結功用。

△圖源：Jack Cook博客文章。

那么這個模型詳細被裝在了哪里？一通深化發掘之后，Cook小哥確認：

我在。
/System/Library/LinguisticData/RequiredAssets_en.bundle/AssetData/en.lm/unilm.bundle 中找到了猜測文本模型。

原因是：

1. unilm.bundle中的許多文件在macOS Ventura（13.5）里并不存在，僅呈現在了新版別macOS Sonoma beta（14.0）里。
2. unilm.bundle中存在一個sp.dat文件，這在Ventura和Sonoma beta里都能找到，但Sonoma beta的版別中更新了顯著像是分詞器的一組token。
3. sp.dat中token的數量跟unilm.bundle中的兩個文件——unilm_joint_cpu.espresso.shape和unilm_joint_ane.espresso.shape能匹配得上。這兩個文件描繪了Espresso/CoreML模型中各層的形狀。

從而，小哥依據unilm_joint_cpu中描繪的網絡結構，估測蘋果模型是依據GPT-2架構打造的：

首要包括token embeddings、方位編碼、解碼器塊和輸出層，每個解碼器塊中都有相似gpt2_transformer_layer_3d這樣的字眼。

△圖源：Jack Cook博客文章。

依據每層巨細，小哥還估測，蘋果模型約有3400萬參數，躲藏層巨細是512。也就是說，它比GPT-2最小的版別還要小。

小哥以為，這首要是因為蘋果想要一種不太耗電，但一起可以快速、頻頻運轉的模型。

而蘋果官方在WWDC上的說法是，“每點擊一個鍵，iPhone就會運轉模型一次”。

不過，這也就意味著，這個文本猜測模型并不能很好地完好續寫語句或階段。

△圖源：Jack Cook博客文章。

模型架構之外，Cook小哥還挖出了分詞器（tokenizer）的相關信息。

他在unilm.bundle/sp.dat里發現了一組數量為15000的token，值得重視的是，其間包括。100個emoji。。

Cook揭秘庫克。

雖然此Cook非彼庫克，小哥的博客文章一宣布，仍是招引了不少重視。

依據他的發現，網友們熱烈地討論起蘋果在用戶體會和前沿技能使用之間的平衡大法。

回到Jack Cook自己，他本科和碩士結業于MIT的計算機專業，現在還在攻讀牛津大學的互聯網社會科學碩士學位。

此前，他曾在英偉達實習，專心于BERT等言語模型的研討。他仍是《紐約時報》的自然言語處理高檔研制工程師。

那么，他的這一番揭秘是否也引發了你的一些考慮？歡迎在談論區共享觀念~。

原文鏈接：
https://jackcook.com/2023/09/08/predictive-text.html。

— 完 —。