【pg電子官方網站】蘋果揭露的隱秘！萬字解密Vision Pro 17項專利

本文系網易新聞?網易號特征內容鼓勵方案簽約賬號【智東西】原創內容，蘋果未經賬號授權，揭露制止隨意轉載。秘萬密pg電子官方網站

作者 | 周炎。
修正 | 云鵬。項專

這半個多月以來，蘋果關于Vision Pro的揭露音訊可謂“冰火兩重天”。

先是秘萬密傳出Vision Pro開發者實驗室冷清，開發者興趣不大。字解后有庫克在財報電話會上為自己產品站臺：我每天都用Vision Pro，項專體會者用了都說好。蘋果近期，揭露聞名近眼顯現專利專家對Vision Pro功用演示中虛擬屏替代物理屏提出質疑，秘萬密稱“太荒唐”，字解文章還取得許多作業人士的項專支撐。

Vision Pro露臉之后，盡管許多數碼博主和Vision Pro開發者都搶先體會了它，并宣告了體會感觸，但僅憑這些仍是答復不了關于產品的疑問，總是有點“不得要領”的意味。從數千項專利中找答案，看清蘋果的深層玩法和布局，遠比劇烈對線更有價值。

就在一個月曾經，蘋果公司的人機界面規劃副總裁艾倫·戴伊（Alan Dye）承受采訪時稱，規劃團隊為Vision Pro申請了5000項左右的專利，一起，在研制過程中，最難便是在專利揭露的狀況下規劃Vision Pro。

現在每周仍許多有關于Vision Pro的專利流出，這些專利有的回答人們關于發布會上某些功用演示中存在的疑問，還有的完全放飛了咱們的想象力，本來一款產品未來還或許會讓人“聞到花香等各種滋味”。

這也不由讓人考慮：規劃團隊在專利中為Vision Pro埋下了哪些伏筆？Vision Pro又是否完結了蘋果“開始的愿望”？

智東西通過對Patently Apple網站中有關Vision Pro的專利深扒后發現：本來看著簡略兩指指尖相互觸碰完結的手動操控本來需求相機對手部各個關節端的辨認；完結人物主動淡入、淡出的EyeSight功用運用了具有支撐結構的紅外通明單向鏡。；來完結3D攝像，需求先讓相機的POV仿照人眼的POV。

深扒專利為咱們的回答的疑問遠不及此，在對WWDC23發布會演示視頻逐幀回憶后，智東西還發現，蘋果“精心挑選”了Vision Pro的演示功用，這背面藏著蘋果多年布下的“一盤大棋”。

因為篇幅約束，咱們挑選了。手動操控、空間窗口、眼動交互、Optic ID、空間音頻、核算機生成實踐體會、空中觀看動作電影、AR體育賽事、沉溺式長途電話會議、虛擬鍵盤、3D拍照、形象拍照告訴、EyeSight。等13項功用演示背面聯系最為嚴密的17項專利進行一輪“賽博拆機”。

一、微米級分辨率辨認手部運動，可用于導航菜單、操控媒體播映。

在WWDC23上，最早映入觀眾眼皮的便是Vision Pro的手動操控功用。

蘋果在曩昔幾年發布了多項關于微手勢操控Vision Pro菜單的專利，從美國專利商標局的揭露信息來看，該專利觸及具有顯現生成組件和一個或多個供給核算機生成體會的pg電子官方網站輸入設備的核算機體系。（computer systrms with a display generation component and one or more input devices that provide computer generated experciences)，簡略了解便是一種手勢操控設備。。

從現在來看，Vision Pro與手勢結合可用于玩視頻游戲、導航菜單、操控媒體播映等。Vision Pro的核算機體系（computer system）答運用戶運用微手勢來與三維環境進行交互。

Vision Pro能夠辨認到對應的指關節、指尖、手掌中心、銜接到手腕的手端等的點。Vision Pro的相機設備在遠離用戶的當地。微手勢的不同運動和方位以及各種運動參數用于確認在三維環境中履行的操作。因為微手勢不易有目共睹，所以能夠在公共場合中進行該操作。

現在，Vision Pro的手動操控還無法對實體設備進行操作，因而蘋果還在繼續研制。智能戒指體系（smart ring system）。

從現在蘋果的專利信息來看，該戒指具有包含滑動、點擊、旋轉等在內的16種交互辦法。戒指中的傳感器能夠感知到用戶的指令信息，然后依據指令操控虛擬物體和實踐物體的交互。

一起需求清晰的是，專利僅僅是技能維護的一種手法，這并不意味著蘋果會在短期內推出智能戒指產品，但從該專利為未來或許的交互辦法供給了新的或許性。

二、XR體系檢測頭部運動，用戶可操控跨渠道虛擬實踐運用。

假如說，上一個專利與辨認手部運動有關，那么這個與Vision Pro頭顯的3D“無限畫布”（infinite canvas）有關的專利就與辨認頭部運動有關。

蘋果早在2022年12月就申請了這項專利，并于本年6月在歐洲發布。從蘋果的專利描繪上看，Vision Pro的混合實踐（XR）體系能夠檢測頭部運動，并相應地調整呈現給人的圖形內容和聲場。

從功用的角度，該專利能夠了解成“空間用戶界面主動切換設備”。

上圖是實在和虛擬組件的分層在Vision Pro內呈現完結的增強實踐（AR）視圖。依據蘋果的說法，關于每一個用戶界面（UI），頭顯都會分配一個鴻溝，該鴻溝界說了某個用戶界面應該處于的物理環境。

從上圖來看，Vision Pro頭顯體系的相機（camera）和傳感器（ sensor）會將捕捉到的信息傳輸到Vision Pro中的組成引擎（ composting）和操作體系（application）之中。

接著運用程序會向操作體系發送懇求（request），然后操作體系接著會反應給運用程序哪些是受約束的信息（constrained information）。

隨后，操作體系會將處理好的場景信息、各個運用程序也會將運用數據傳送到烘托引擎（rendering engine）之中。烘托引擎將加工好的信息傳送到組成引擎之中，與開始由傳感器和攝像機捕捉到的信息進行終究組成，終究各個運用程序界面就會顯現在用戶面前。

三、多單元區核算用戶凝視端點，用戶眼動操控空間物體。

除了手動辨認、頭動辨認、Vision Pro還能針對眼部運動進行辨認。產品評論家Marques Brownlee在看到Vision Pro的產品稱，你一旦開始運用Vision Pro后，必定會重視它的眼動追尋功用（eye tracking），“我一般不會點評科技產品的功用為“魔法”或許“超實踐”，可是這是我觸摸過最挨近魔法的作業?！?。

從美國專利商標局的揭露信息來看，Vision Pro的眼動追尋功用和一項“用于凝視端點確認的辦法和設備”的專利有關。該專利能夠用于確認主體在空間中凝視三維物體的端點。聽起來好像很雜亂，事實上便是一個“眼動操控設備”。

該專利將用戶頭部及其周圍環境界說為一個體系，并將其分為了多個單元區，其間包含眼睛盯梢單元、頭部盯梢單元、3D場景結構表明單元（3D scene structure representation unit）、核算單元等。

Vision Pro會追尋用戶的眼睛的凝視方向，頭部、眼部盯梢單元相關于整個參閱坐標系的方位和取向，接著，Vision Pro在就會在3D場景結構表明單元中，通過參閱坐標系中的坐標通過實在國際場景中方針的3D方位及其3D結構來表明實在國際場景和場景中包含的方針。最終，核算單元會依據用戶眼部的凝視方向、眼動儀的方位、3D場景結構。表。示等來核算出用戶的凝視端點。

四、傳感器捕捉用戶虹膜信息，用戶可通過Optic ID進行辨認。

8月初，Vision Pro虹膜生物辨認體系Optic ID背面的專利也“浮出水面”。

從蘋果的描繪來看，這項專利能夠了解為“生物信息辨識算法”。，Vision Pro的攝像機能夠用于捕捉用戶的虹膜、眼睛、眼眶周圍區域的生物特征圖畫。，然后攝像機中的操控器（controller）上履行的算法能夠動態地確認這些被捕獲的圖畫中哪個能夠用于生物辨認認證。

Vision Pro攝像機中操控器挑選圖畫的客觀規范包含：圖畫的曝光度、對比度、暗影面積、清晰度、是否有遮擋物體、是否有反射光等。

五、幾許聲學仿照實踐聽覺影響，觀影時空間音頻愈加實在。

在完畢身體部位辨認板塊后，想必咱們在觀看WWDC23時，都會對上面動圖中演示的“空間音頻”的功用有所形象，一起因為沒有親自體會過“空間音頻”，所以并不清楚“空間音頻”會怎么進步沉溺感。

傳統上，當聲響沿直接途徑傳達時，耳道進口接納到的聲學信號中或許會存在偽影，通過運用空間音頻濾波器的信號處理算法，能夠將用戶特定的偽影合并到雙耳的音頻中去。

為了完結精確的空間音頻再現，虛擬音頻體系能夠運用HRTF來創立聲響來自空間中某處的幻覺。聲響能夠運用射線進行追尋，這種辦法被稱為幾許聲學（GA），幾許聲學的辦法可用于仿照組成聲波的某些實踐行為帶來的聽覺影響。

現在的空間音頻組成軟件能夠辦理實時仿照移動接納器周圍的移動聲源的核算負荷，可是，這些仿照往往是依據靜態混響的，在實踐國際的場景中，聲波和反射性/阻止性外表之間存在著明顯的相互作用。房間的修建或場景構成中的每一改動都會對房間里的聲波在任何給定瞬間的實時仿照辦法發生嚴重影響。

這就需求改善虛擬三維環境中的實時物理聽覺化技能，這包含其間任何（或悉數）的環境：聲源、聲響接納器和虛擬環境中的幾許/外表或許在聲源被仿照時的動態改動。

蘋果的這項專利能夠了解為“方位追尋與動態音頻調整體系”。

當用戶走到虛擬空間中的哪個方位，都能聽到實時處理的遍及于空間內擬真的聲響作用，這些聲響會依據空間內物體方位、乃至原料，以及實時移動的人發生改動，然后愈加實在。

六、生成用戶化身，支撐核算機生成實踐體會。

在觀影的過程中，除了空間音頻帶來的沉溺感，Vision Pro可為用戶帶來核算機生成實踐（CGR）體會，在供給CGR體會之前，需求了解用戶的姿態。一些CGR體會呈現仿照用戶行為的用戶化身，假如用戶移動身體的一部分，化身就會移動相應的部分。

這項技能是通過蘋果上一年收買以色列公司Camerai引進蘋果的。

七、辨認用戶內耳前庭感知到的運動，減小飛機場景象影暈厥感。

WWDC23上，蘋果的視頻預告片中展現了用戶怎么在飛機上佩帶Vision Pro觀看電影。

要知道，一般狀況下，當身體運動和視界所觀測到的運動不匹配或許頭部運動和視覺觀測的頭部運動不匹配時，人很簡略發生暈動癥。而當用戶在空中佩帶VR/AR頭顯時，因為飛機波動，以及VR/AR頭顯顯現的視界太窄或各種追尋功用緩慢/不精確，身體運動、頭部運動與VR/AR頭顯觀測到的事物簡略發生不匹配的狀況，然后導致定向妨礙和厭惡。

近眼顯現專家Karl Guttag在其興辦的科技網站KGOn Tech給出了愈加詳盡的剖析，Karl Guttag稱，人眼視場角內分辨率最高的區域（視網膜中心凹）其掩蓋規模僅為2度，運用者眼前看到的圖畫是眼球通過環視、跳動等微動作捕捉并湊集在一起的成果。

在Karl Guttag的剖析中能夠看到，在一般狀況下，人體首要通過三種感官來堅持平衡，其間內耳器官的前庭感知（VOR）可辨認頭部的方向，以及哪個方向是上下方，假如人眼前看到的運動與前庭體系感知到的運動不相符，那么就簡略引起厭惡、暈厥等癥狀。

因為AR/VR頭顯首要依據用戶眼球和頭部運動來動態烘托圖畫，顯現的內容或許會導致內耳、眼球檢測到的數據不一致，然后暈厥。R1芯片聲稱能夠大幅消除傳感器和顯現器之間的推遲。

Karl Guttag稱，在飛機等長途移動場景中，與前庭相關的暈動問題或許還會加劇，因而，Karl Guttag得出結論，Vision Pro還需求辨認用戶內耳前庭感知到的運動，才干很好地削減運動癥狀。

偶然的是，蘋果本年6月發布的一項專利顯現，蘋果確實走了一條和Karl Guttag的猜想相同的路。這兩項專利別離能夠了解為“運動感知增強體系”和“相對慣性丈量體系”。

首要，榜首項專利中，Vision Pro通過調整中心凹視區域（foveated gaze zone）外部的內容對比度或空間頻率（spatial frequency）能夠削減暈動病，這種辦法也不會像黑掉內容那樣有損與用戶體會。

詳細到施行辦法上，蘋果添加了與用戶物理環境的3D空間相關聯的內容到凹凝視區域外部。這樣的現在是為了運用戶能夠相關于核算機生成實踐（GCR）環境中移動，并且運用戶感知到的運動與前庭體系（vestibular system）感知的信息相匹配。

一起，Vision Pro還會在通過傳感器取得用戶的生理數據和運動數據等的基礎上，向用戶供給相關聯的視覺和聽覺體會。

總的來說，該專利的立異之處在于，在具有處理器的電子設備上，首要確認了顯現器的榜首區和第二區，然后依據榜首區和第二區生成3D環境的圖畫，辨認對應于顯現器第二區的每個圖畫的內容，以及對應于顯現器第二區的每個圖畫的圖畫內容的對比度或空間頻率中的至少一個。

上圖列出了用戶瞳孔和瞳孔的視界圖，其間展現了眼窩，即視網膜中心凹下的部分、副眼窩(parafoved)和周邊視覺區域（peripheral）。

Karl Guttag關于Vision Pro也有疑問的問題：在長期空氣不流轉的場景下，假如讓人一向佩帶有必定分量、貼臉、且會發出熱量的頭顯來看電影，體會感或許并不抱負。飛機上的空乘人員、乘客或許會來回走動，每逢有人挨近的時分，都或許觸發Vision Pro的透視模型，打破觀影的沉溺感。

除了調整中心凹視區域外部的內容對比度，蘋果在本年7月發布的一項有關。相對慣性丈量體系（relative inertial measurment system）。也對乘坐交通工具時發生的暈動癥的處理有所協助。

從蘋果的介紹來看，傳統的VR和AR設備無法將用戶身體部分的運動與用戶所在的參照系（reference frame）別離開來。

舉例來說，佩帶傳統VR和AR設備的用戶在乘坐交通工具時，在交通工具從中止狀況加快直到高速的過程中，用戶并不會在交通工具內進行運動。這樣VR和AR設備顯現的圖畫，在用戶看來就像是他正在以相同的速度和方向通過車輛行進的場景。因為眼前庭不匹配，用戶因而呈現厭惡等癥狀。

蘋果的相對慣性丈量技能能夠確認用戶設備相關于非固定參閱系（用戶乘坐的交通工具）相對的運動，然后將用戶身體部分的運動與所在的參照系別離。

八、實時盯梢用戶視覺方向，添加賽事比分信息，帶來現場觀賽體會。

除了提高觀影體會，蘋果還通過增強實踐技能提高觀看體育賽事的體會。

從蘋果的專利信息來看，沉溺式視頻內容能夠通過三維的辦法呈現給用戶。依據運用者觀看現場活動的方向和觀看方位的視覺數據，Vision Pro挑選為用戶呈現特定視界或調查視角的沉溺式視頻內容。一起，Vision Pro中呈現的內容還會依據用戶的移動而不斷更新。

從功用上來看，該專利能夠了解為“榜首人稱視角沉溺式觀賽體系”。

從上圖來看，體育賽事的視頻內容會通過網絡傳輸到Vision Pro上，經由Vision Pro的通訊模塊，一部分信息就會進入數據緩沖區，然后在顯現在目鏡上。另一部分信息會經由處理模塊、以及傳感器顯現在目鏡上。

假如說榜首個專利著重增強了用戶對體育視頻內容的沉溺感觸，那么第二個專利則為用戶實時供給體育賽事現場狀況信息，能夠了解為“體育賽事視覺增強體系”。。

將時刻倒回2022年6月，蘋果和美國作業足球大聯盟（MLS）宣告，Apple TV運用程序將獨家播映2023今后的每場MLS競賽直播。為了進軍視頻業，蘋果正期望將拓寬MLS的呈現辦法，運用戶能夠在Vision Pro中觀看MLS競賽直播，一起感觸到現場競賽的氣氛。

蘋果在專利布景信息中指出，現在用戶現已習氣在電視中觀看體育賽事中隊伍稱號、得分等彌補信息，例如，在足球競賽轉播期間，在球場上顯現黃色的先下線，籃球競賽中，比分一般顯現在右下角。

Vision Pro的傳感器能夠捕捉物理環境中的視頻或許圖畫，而此刻，Vision Pro的顯現器處于通明或半通明狀況，圖畫或視頻的光線會通過這層通明或半通明的介質導入眼睛之中。此外，關于體育賽事的彌補信息還會顯現在體育賽事的視圖之中。從下圖能夠看到，例如“玩家A進球”、“47:46”這樣的場上比分、“射擊速度66千米/小時”等“‘增強實踐”內容的信息都會以黃色來杰出顯現。

Vision Pro仍然會面對一些問題。在續航方面，野外競賽需求處理很多的實時圖畫和數據，對電池續航和節能的要求會添加。

在技能方面，假如完結對體育賽事的AR呈現，Vision Pro需求高效處理很多的圖畫和數據，以供給給流通的增強實踐體會。一起，體系的實時盯梢和定位功用也需求高精度和穩定性，以保證在實在國際中的精準堆疊。

九、供給沉溺式長途電話會議功用，支撐與多人同享同一主題內容。

Vision Pro不只能夠通過“空間音頻”、“增強實踐”、“用戶化身”等辦法為用戶供給文娛方面的沉溺感，在作業層面，還能夠為用戶帶來沉溺式的電話會議體會。

該專利能夠了解為沉溺式電話會議和長途呈現體系（immersive teleconferencing &telepresence system）。從美國專利局的信息來看，該專利申請觸及了依據會話描繪協議（session description）和實時傳輸協議的程序。

下圖描繪了沉溺式電話會議和長途呈現體系的簡化結構，圖中能夠看到，一群一起正在會議室中開會，房間中含有會議桌，以供實踐到會的參加者運用。

此外，Vision Pro的相機能夠以相關于相機不同的角度或視場捕獲視頻的多個獨自的相機或鏡頭。當有人并未呈現在會議室中，但仍是期望參加電話會議。那么會議室中的參加者能夠運用屏幕顯現來自個人的同享演示文檔或許視頻流。未佩帶Vision Pro的參加者能夠運用iPad和iPhone在長途來參加會議。

從上圖的105b能夠看到，長途參加會議的人能夠運用ipad和iPhone等設備觀看會議室的360度全景視圖，還能夠運用ipad或iPhone的手機攝像頭拍照視頻。

十、虛擬鍵盤“隔空打字”，支撐多設備協同完結文檔內容。

與作業場景密切相關的還有Vision Pro虛擬鍵盤帶來的“隔空打字”功用。

查閱蘋果的專利，在曩昔幾年中，有多個專利觸及到虛擬鍵盤的“隔空打字”功用。蘋果本年3月發布了一項關于“用戶擴展實踐（XR）體系的多設備連續性”的專利，也便是一種“多設備協同輸入設備”。

該專利答應運用iPhone、iPad、Mac的用戶將正在操作的文檔傳輸到Vision Pro之中，答運用戶在擴展實踐中完結該文檔。接著Vision Pro能夠通過檢測用戶手指運動來進行輸入。

從FIG2中能夠看到，iPhone設備將其內容傳輸到Vision Pro上，用戶佩帶Vision Pro后，前方會呈現運用程序窗口，其間包含文件辦理運用程序（file mgr app）、瀏覽器窗口（browser window）、內容修正器窗口（content editor window)、媒體播映器窗口（media player app window），iPhone本來輸入的內容能夠在內容修正器窗口檢查到。

從FIG5中能夠看到，Vision Pro上的攝像頭和傳感器能夠捕捉到iPhone的用戶界面，然后。Vision Pro中的處理器會將捕捉到的用戶界面生成副本，然后會為用戶從頭創立一個文檔，使其能夠在Vision Pro所供給的顯現界面中繼續修正該文檔。

當Vision Pro接管了該文檔的操控權之后，iPhone的顯現屏或許會封閉或更改為低功耗狀況。一起V。ision Pro還能夠在XR環境中翻開多個運用窗口。

蘋果在2020年被頒發了一項名為“自適應輸入外表”（Adaptive Input Surface ）的專利，該專利與觸敏輸入（touch-sensitive）有關，能夠替代具有觸覺反應的虛擬鍵盤。觸覺反應能夠通過靜電電極的可控陣列供給給用戶，這能夠運用戶感知到外表上不同水平的摩擦力。就能夠有針對性地進行輸入。一起輸入外表移動感的致動器還會進一步為用戶供給附加的觸覺反應。

一般來說，這個輸入外表會挨近于Vision Pro的傳感器，該傳感器會捕捉用戶手指的方位。

十一、仿照人眼POV，單視場或立體場視圖實時烘托到Vision Pro。

最終要講的三部分與Vision的攝像功用和相關的透鏡鏡片有關，其間不得不提的便是Vision Pro的3D攝像功用。

在傳統的VR/AR頭顯中，場景攝像機（scene cameras）設備在頭顯的前面。但一般狀況下，場景攝像機的入瞳以及角度（POV）與用戶眼睛的POV存在很大的偏移，因而，攝像機的POV并不能代表人眼的POV。

因而，為了更好仿照人眼的POV，Vision Pro通過將相機的入射光瞳向用戶的眼睛處移動來校對相機的POV，以更好匹配用戶的POV，從功用的角度，該專利能夠了解為“相機POV校對設備”。

Vision Pro的相機的二維陣列（two-dimensional arrays）能夠捕獲眼前實在國際場景的各個部分的圖畫，攝像機沿球面曲線或曲面定位（spherical curve or surface），以使攝像機具有不堆疊的相鄰視場（FOV）。一起，為了精確表明用戶的視角，Vision Pro相機中的光學器材被裝備為使陣列中相機的入射光瞳坐落圖畫傳感器場所構成相機圖畫平面的后邊。一起，Vision Pro的相機也在傳感器上構成優化的圖畫。因而，每個相機陣列都能從與用戶眼睛根本相同的視角捕捉場景的視圖。

在蘋果發布會的展現中，運用者能夠與圖片中場景進行交互一向讓人獵奇，從蘋果發布的專利中能夠看到，虛擬實踐體系能夠向用戶顯現立體場景以創立深度幻覺，并且核算機能夠實時調整場景內容。

每個相機依照從物側到像側的次序包含：榜首透鏡組，其間包含一個或多個透鏡元件；孔徑光闌（apertue stop）其間包含針孔（pinhole）；第二透鏡組，其間包含一個或多個透鏡元件、多個鏡頭元件和傳感器，一起，榜首組透鏡組中的透鏡之間的空隙最小或許沒有空隙。

這樣組織的原因是期望使一個場景的光被反射到兩個或多個攝像機上，這些攝像機別離為捕捉場景的各個部分的圖畫，鏡子的作用是使攝像機的光圈更挨近被攝者的眼睛。所捕獲的圖畫通過處理后生成圖畫。用戶在由自己的左右眼來檢查所顯現的圖畫。

并且真實完結3D拍照，這或許還僅僅入門級的要求。蘋果在2021年4月發布一項關于。360拍照和后期制作相關的專利。，或許能夠更好地解說Vision Pro怎么完結了體會者們所言的“3D立體景象”。

蘋果在專利中稱，傳統的180度和360度視頻和圖畫都以平面存儲格局（in flat storge formats）進行存儲，一起運用等距柱狀投影（equirectangular projections）或立方投影（cubic projections）來表明球面空間（sphrical space）。假如這些視頻或圖畫在傳統的修正或圖形運用程序中進行修正，一起當這些視頻或圖畫以圓頂投影、立方體或球面映射的辦法散布和呈現時，簡略呈現很多問題。

此外，在對用球面組成或修正的圖畫或視頻進行處理后，簡略呈現后續鏡頭未對準或立體視覺不匹配等狀況?？墒翘O果的專利彌補了這一惋惜。

現在Vision Pro取得專利會將單視場（monoscopic）或立體180度或360度的靜態圖畫或視頻圖畫從主機修正或視覺作用軟件作為等距柱狀投影或其他球面投影傳輸一起運轉的輸入的辦法和體系。同一設備上的軟件程序，能夠從有線或無線鏈接的頭戴式頭顯的方向和方位數據，并一起將該方向代表的代表性單視場或立體場視圖實時烘托到Vision Pro中。

提到這或許就能夠回答怎么構成3D立體景象了，但蘋果并未停步與此，蘋果在專利中還進一步想到了關于Vision Pro拍到的相片和視頻怎么進行后期制作，盡管蘋果沒有在WWDC23的預告中展現這方面的功用。

簡略來講，Vision Pro運用GPU緩沖區來接納圖畫數據，一起這個GPU緩沖區還與媒體操作的運用程序相關聯，能夠獲取到顯現設備的方向數據（orientation data），這樣運用取得的圖畫數據和方向數據，Vision Pro的屏幕上就能夠顯現出預覽圖畫。需求指出的是，當媒體操作運用程序并修正圖畫數據時，所述的預覽圖畫會被動態修正。

十二、添加集成板塊，設備多種傳感器，奉告外界頭顯正在拍照。

此前谷歌眼鏡因為會在對方不知情的狀況下對其進行拍照而遭到外界的詬病，蘋果在下面這項專利中為Vision Pro添加了集成板塊（integrated part），該集成板塊能夠讓外界知道頭顯正在拍照，簡略來講，便是“傳感器捕捉與指示設備”。

從專利信息來看，蘋果在Vision Pro設備上許多傳感器，首要是，三維傳感器，三維傳感器下面又分為多個類別，例如三維圖畫傳感器（three-dimensional sensors）、結構光傳感器(structured light sensors)，當方針被光束照耀發生的光點的三維圖畫數據被三維圖畫傳感器捕捉到，這時Vision Pro中的相機就會對圖畫進行拍照。

其次，Vision Pro中還有三維激光雷達傳感器（the-dimensional lidar sensor)，能夠了解為一種光檢測和測距的傳感器（light detection and ranging sensors）；三維射頻傳感器（three -dimensional radio-frequency sensors）或許搜集三維圖畫數據的其他傳感器。

最終還有完結盯梢傳感器（gaze tracking sensors），其間就包含依據圖畫傳感器的視界盯梢體系。（gaze tracking system based on an image sensor）。

講完了Vision Pro中的傳感器，Vision Pro中的發光組件（light-emitting component）能夠用來指示相機的當時操作形式。

從上圖來看，Vision Pro采用了兩種規劃別離是圓形指示器規劃、八角形指示器規劃（Octagonal Indicator Design）。當相機在捕捉運動圖畫的時分，指示器變為赤色，當相機沒有捕捉視頻時，指示器就能夠為綠色或許黑色。

十三、雙向鏡和單向鏡間自在切換，EyeSight可完結主動主動淡入、淡出功用。

壓軸進場的是Vision Pro的Eyesight功用，在WWDC23上，信任許多人對Vision Pro雙向鏡與單向鏡的切換感到獵奇。，在WWDC23小組討論中，Vision Pro的首席開發人員Mike Rockwell談到了EyeSight背面的技能。

據悉，Eyesight的主意能夠追溯到蘋果前首席規劃師Jony Ive，事實上Meta曾在2021年展現過帶有假視覺的原型。

EyeSight功用簡略來說，便是外部的顯現屏能夠實時顯現用戶的眼睛?？墒峭杲Y該功用并非簡略，一方面傳統的2D顯現器在顯現眼睛時會顯得不自然。于是以Mike Rockwell為代表的開發人員想到了制作一種曲折的透鏡顯現器，這種顯現器能夠為每個調查Vision Pro外顯現屏的人呈現共同視圖。

在WWDC23中，Vision Pro的作用展現部分，也能夠聽到該頭顯屏幕運用了一種名為“Lenticur ”的透鏡。2021年，Patenltly Apple發布了三篇關于相關的專利陳述。

本年5月，在一項在Lenticur透鏡顯現圖畫的辦法的專利被發布出來。從專利信息來看，Vision Pro離線后會生成靜態網格，傳感器會實時將拍照方針的紋路信息映射到固定的網格之中。在離線的過程中，被拍照方針的紋路信息和3D網格信息（3D mesh information）能夠用于烘托方針多個角度的UV貼圖（UV map），這樣就完結了3D建模。

Vision Pro開發人員在同享中曾提及，而這些視圖數據有兩大首要數據源，一是頭顯中眼動追尋攝像頭捕捉到的畫面信息，二是蘋果運用數字人物，這個數字人物是佩帶者的3D面部掃描的協助下預先生成的。

從圖1A和圖1B別離顯現了Lenticur顯現器的3D前視圖和頂視圖。Lenticur顯現器包含顯現面板、該面板的原料能夠是LCD、OLED、DLP、LCoS（硅基液晶）。一起，能夠看出Lenticur運用了柱面透鏡，這種透鏡本質上一組擴展透鏡，特點是能夠改動圖畫的寬高比，為每個調查Vision Pro外顯現屏的人呈現共同視圖。

圖210能夠是視網膜投影儀體系（retinal projector system），其將左圖畫和右圖畫逐像素掃描到用戶的眼睛之中。為了掃描圖畫，投影儀還會·生成光束，這些光束被引導反射組件（reflective components），反射組件會將光束從頭引導到用戶的眼睛之中。

EyeSight還包含主動淡入和淡出眼部區域的功用。，這取決于用戶是在沉溺式內容中仍是與鄰近的人進行互動。主動淡入能夠了解為，當有人挨近用戶時，此人會主動呈現在視界中。

Vision Pro的鏡片中帶有涂層，就像太陽鏡和滑目鏡這類產品相同，能夠發生單向鏡面作用?？墒沁@也就形成一個問題，當運用者佩帶太陽鏡、滑目鏡這類產品時，因為涂層不行通明很或許會使組件無法有用運轉。

Vision Pro運用了紅外通明單向鏡，這款單向鏡運用了支撐結構（support structure）的資料，這種支撐結構能夠支撐資料層，使得資料層將外部區域和內部區域分隔。

一起，光學器材能夠與資料層堆疊，這樣能夠完結該作用的光學組件包含可見相機的可光組件和比如紅外發光器材、光紅外發射器的、紅外光傳感器的紅外組件等能夠穿過資料層，一起被紅外通明單向鏡的反射外觀躲藏而不被看到。

結語：打造虛擬交互新形式，Vision Pro有望掀起XR范疇熱潮。

從上文深扒Vision Pro 13項功用展現中背面專利能夠看到，無論是空間窗口、空間音頻等都為用戶帶來了“空間核算”新體會，一起，EyeSigtht功用一改傳統XR設備“阻隔式”交互辦法，使得佩帶者既能實時看到外部狀況，還能在有人挨近的狀況下，與實踐中的人進行交互，打造了虛擬交互新形式。

XR開展已有10余年的時刻，這期間盡管一向短少爆款級產品呈現，可是因為以蘋果、Meta、谷歌為首的科技巨子的“押注”，XR范疇一向受重視度較高，與之相關的新專利、新產品、新場景也在繼續發布。作為蘋果“十年磨一劍”打造出來的現象級產品Vision Pro有望掀起XR范疇的熱潮，進一步擴展XR設備的市場規模。