3
雷鋒網按：本文譯者曲曉峰，香港理工大學生物特征識別博士生。文章譯自Jono MacDougall《How Magic Leap Works - From Field of View to GPU》。已獲將門創業（thejiangmen）授權發布。
圖片來源：fastcompany
Magic Leap一直對他們的技術的工作細節保密。我們現在僅僅知道他們的系統是一個全新的系統，并且遠超一切消費者熟知的現存競爭對手。這也難怪Magic Leap想要為自己革命性的系統保密。眾多的企業都在伺機窺探，想要了解究竟是什么技術，讓人們如此的興奮。
這種技術，聽上去就是Apple想要擁有的，那種潛在的革命性的帶有真正創新意味的“新事物”；也是微軟在Hololens上想要努力實現，卻又遠未實現的。它受Google Glass的啟發，卻又明顯領先幾代的。
這個技術到底是什么，它究竟是如何工作的？我調查了在Magic Leap工作的人所做的演講、專利、工作申請和他們的背景，試圖尋找這個問題的答案。
這是常規大小眼鏡。但相機又往哪放呢？注：這可不是Magic Leap的產品。
在談論細節之前，我們先總體上談談這是個什么技術。簡單說，Magic Leap在做一個設備，這個設備能把物體投影到人的視場，而且真實得遠超我們現在所見的其它類似設備。Magic Leap的設備由兩部分組成：一副眼鏡和一個便攜的口袋式投影儀/計算模塊。這模塊是差不多手機大小的沒屏幕的長方體。這個便攜式計算模塊通過數據線連接眼鏡。眼鏡與普通眼鏡有著類似的尺寸和結構，也許稍胖一點點。體積小是該產品的一個重要特征。體積小意味著該產品可以在社交場合里佩戴使用，也許有可能會像智能手機一樣地便攜易用，隨處可用。
如圖所示，一個與Magic Leap便攜模塊大小類似的充電寶。
Magic Leap最突出的是能把一大部分必須的硬件設備從眼鏡本體上拆除，放在另外一個獨立的模塊中。HoloLens，剛好相反，其顯著地削減了頭戴設備中各個組件的尺寸，但也只能做到現在的程度。那便攜模塊里面都有些什么呢？可能有如下部分：
電池
這塊電池的容量大約相當于現在的智能手機，也許還得再多點。如果要替代智能手機，那更得是相當牛的一塊大電池。估摸著差不多至少得5000毫安時。
CPU/GPU
肯定要用最新一代的移動CPU。估計會用高通的。幸運的是，他們應該用不到高端圖形處理，因為混合現實（Mixed Reality MR）只需要渲染局部，不需要渲染整個場景。這樣就避免了虛擬現實（Virtual Reality VR）所需的高強度圖形處理。
內存
跟智能手機差不多，估計3-4GB。
定制的SLAM芯片
這個是把虛擬物體擺放到真實世界所必需的。他們可能會自己流片（Tape Out），或者采用Movidius或其它類似的芯片。
4G/Wifi/藍牙
SIM卡
GPS芯片
相機
眼鏡上肯定要有一堆相機，但這并不意味著便攜模塊就可以沒有了。頭戴設備上的SLAM相機跟普通數碼相機是不同的。眼鏡的體積有限，可能容不下一個高功耗的相機，只能放進便攜模塊。這樣設計的好處是可以減輕他人對隱私侵犯的擔憂，沒有便攜模塊只有眼鏡的話，沒法拍照。
激光投影儀
這是該設備最主要的創新。把投影系統從眼鏡上拿走，挪到便攜模塊上，使得產品的體積顯著縮小。投影的光由便攜模塊生成，然后通過光纖傳導到頭戴設備。后面我們會詳細分析一下其工作原理。
當我們盡可能把所有東西都塞進便攜模塊之后，眼鏡上剩下啥了？眼鏡上得安裝如下組件：
慣性測量單元（IMU）
就是常見的加速度傳感器、陀螺儀和指南針。
耳機
也許會用Google Glass上的那種骨傳導耳機。這要看他們的設計思路是不是要與身體相協調。骨傳導的優勢是你既能聽見耳機播放的音樂，同時聽到其他的聲音。
麥克風
光學部分
相機
光學部分和相機是最有趣的組件，我們詳細分析一下。
根據專利文獻，Magic Leap使用的光學設備比HoloLens和Google Glass使用的傳統投影系統小很多。如上圖所示，光源是與頭戴設備的主體分離的，這就是為什么我們可以推測光源在便攜模塊中。其次，該設備的鏡片系統也非常小。示意圖雖然明顯不是等比例繪制，但也一定表示相關元件的大致尺寸。我們唯一真正看到的元件是鏡片。比較圖中上側的5、6、7、8元件和鏡片的寬度，我們不難看出相對大小。
這說明什么？他們怎么能把光學部分縮小這么多，同時還號稱能實現光場顯示、高分辨率和驚人的視野？答案包括兩部分：光纖掃描顯示與光子光場芯片。
光纖掃描顯示是從未在消費電子產品中使用過的全新的顯示系統。我們只能通過其2013年的專利申請文件進行了解。這份專利申請文件有些日子了，所以關于系統性能的一些細節可能已經不準確了，但基本概念應該還是一樣的。
該系統使用一組致動光纖來掃描輸出遠大于其數值孔徑的圖像。這就像老式的顯像管電視，只不過不是掃描輸出電子到熒幕來激發熒光粉發光，而是直接掃描輸出光。掃描是通過壓電致動器來實現的。掃描頻率保持在大約幾十kHz。但實際圖像刷新率并沒有那么高。因為需要多次掃描（專利里面舉例如250次）才生成一整幅圖像。這完全改變了我們對于分辨率的概念。這個技術的圖像分辨率取決于光纖的掃描頻率，光纖可以匯聚的最小光斑尺寸（這決定了像素大?。梢环鶊D像所需的掃描次數和刷新幀率。考慮到專利申請之后，他們對于該技術的進一步優化，其分辨率應該遠超現有的消費電子產品。
一組光纖掃描單元緊密排列為一束來增加顯示的尺寸。每根光纖掃描單元的寬度為1mm。
除了分辨率和幀率，一個寬廣的視場（Field of View, FOV）同樣也是顯示逼真的全息圖像的關鍵。關于這一塊，專利的背景信息部分有一段很有趣的描述。
頭戴顯示器（Head Mounted Display, HMD）的視場可以由微型顯示器的圖像尺寸和觀察光路共同決定。人類的視覺系統的視場，水平大約200°，垂直大約130°。但大多數頭戴顯示器僅僅提供了40°左右的視場…… 大約50-60弧秒的弧度分辨率代表著20/20的視力表分辨率（譯者注：視力測試標準中正常人眼較高的成績，參見WIKI）。而弧度分辨率，是由微型顯示器的像素密度決定的。為了匹配一般人的視覺系統，頭戴顯示器應在水平40°、垂直40°的視場內提供 20/20 視力表分辨率。以50弧秒計算，相當于八百萬像素（8Mpx）。如果把視場拓展到水平120°、垂直80°，則需要五千萬像素（50Mpx）。
這里談到了兩件事。第一，消費級顯示器的分辨率遠遠小于大視場所需。這就是為什么HoloLens想要增大視場的話如此艱難。第二，這顯示出Magic Leap的野心。他們想提供一個水平120°、垂直80°的視場。這個視場比Oculus Rift的視場還大，同時分辨率也遠超。他們有沒有實現呢？現在還很難說，但至少專利里面已經提到了一些技術參數，同時不要忘了這些還是三年前的數據。他們很有可能已經改進提高了這個技術。
像素間距是從一個像素中心到相鄰像素中心的距離。它限制了圖像的分辨率。傳統的微型顯示器，例如HoloLens所用的，其像素間距在4-5微米。像素間距限制了這些顯示器的分辨率，也因此限制了生成的視場。專利申請文件表明，掃描式光纖顯示器能夠生成0.6微米的像素間距，提升了一個數量級。
那究竟能達到什么分辨率？專利里有一段提到一個4375x2300分辨率，但我覺得還不止。這是在描述基本方法時舉的一個例子，后面還討論了多核光纖對于性能的提升。我認為其分辨率會遠遠高于該分辨率。這對于寬廣的視場是至關重要的。
最后專利提到120°視場的這句特別值得注意：
以上所述技術可以用來制造具有寬廣視野的頭戴式或其他近眼顯示方式的超高分辨率顯示器。
我認為這充分驗證了，其視場將至少大于40°，接近其宣稱的120°也并不是不可思議的。要我下注的話，我賭90°。
第一次聽說Rony Abovitz給他的鏡片起名叫“光子光場芯片”，我都郁悶了。別總給這些早就有的東西起一些不著調的名字了。就叫它Rony鏡片就好了。但隨著我逐漸加深理解，它還真不是一個簡單的鏡片。它究竟是干什么的，為什么它比其他鏡片更有意思？我們先來了解一下衍射光學元件。
一個衍射光學元件的例子
可以把衍射光學元件（Diffractive Optical Elements, DOEs）想成是一組非常細的鏡片。他們可以用來整形、分光、勻化、擴散。Magic Leap使用帶有圓形鏡片的線性衍射光柵來分光，并生成特定焦距的光束。就是說，它把光導入你的眼中，并讓這些光就好像是從一個正確的焦平面發射出來的一樣。常言道，說起來容易做起來難，但這個說起來都難。至少我找到的專利文件是這么寫的。
為了生成光場，Magic Leap使用兩個分立的元件配置了一個光子芯片。一個元件（原理圖中的6）提取投影光，并將其插入第二個元件（原理圖中的1），第二個元件將光導入人眼。
這兩個元件都是使用DOEs來完成工作。DOEs的主要問題在于，他們經過精心調試只能用來進行一個特定工作。他們不能工作于不同的波長，不能實時改變到不同的焦點。為了解決這個問題，Magic Leap堆疊了一組針對不同波長和焦平面優化的DOEs，作為一個大鏡片組來用。這些DOEs都非常的薄，跟光的波長在一個尺度，所以加在一起也不會讓設備變得太厚。這就是為什么這個光學系統被稱為芯片。Magic Leap能夠開關DOEs的不同層。這樣，他們可以改變光到達人眼所使用的路徑。這就是他們如何改變圖像的焦點，來形成一個真實的光場。就像專利里面說的：
例如，當打開一組DOEs里面的第一個的時候，對于一個從正面看進來的觀察者，可以產生一個光學觀察距離1米的像。一組里面的第二個DOE打開時，可以生成一個光學觀察距離1.25米的像。
你可能覺得這個技術很局限，尤其是當你需要一大堆層來產生各種不同焦點的像的時候……但還真不是那么回事。不同的DOEs的組合可以產生不同的輸出。并不是一個DOE對應一個焦平面，而是一個DOEs組合對應一個焦平面。
改變DOEs組中的激活層，就會改變從光子光場芯片射出的光。
他們很有可能有比圖中多得多的層，但具體多少層就天知道了。
最終，我們明白了Magic Leap怎么實現其過去宣稱的用光來制造暗了。我們分別使用一個外側的DOE和一個內側的DOE就可以像主動降噪耳機一樣抵消外界的光。專利里面是這樣說的：
這可以用來抵消類似于背景光或真實世界光的平面光波導，在某種程度上類似于主動降噪耳機。
那，為什么這是一個芯片？呃，一個典型的電子芯片基于某種條件改變電子的流向。Magic Leap的光子光場芯片基于某些參數改變光子的通路。我覺得也算是一種芯片了。
我們還缺什么？我們有了光子光場芯片，有了高分辨率投影，但如何構造一幅圖像。這個是靠組合。圖像是分層繪制的，以便讓不同的部件投影到不同的焦距的子圖像上。就是說，每一幀都是通過多次掃描來構建的，每一個焦平面都是分別繪制的。
Magic Leap試圖在相機上實現三個功能。第一個是最明顯的，一個能生成日常圖像的相機。這是他們所使用的最容易理解的相機技術，他們也許就是用一個智能手機市場上最新的類似傳感器。這個相機是放在眼鏡上還是便攜模塊上，仍不可知，但總要有一個能拍照片的。
其他兩個功能很有意思。Magic leap反復提到其設備具有理解周圍世界的能力。在一個采訪里面，提到該設備能識別物體，例如刀和叉子。要想做到這個，他們需要一組相機。我們可以看看這方面做得不錯的HoloLens。HoloLens有一組四個環境感知相機和一個深度相機。從Magic Leap的專利文檔中我們能得到進一步確認。
原理圖上顯示的是眼鏡左右鏡腿上的兩個元件。上面是左邊鏡腿的，下面是右邊鏡腿的。
由以上原理圖，我們可以發現兩個向外的相機，叫做“world camera”。專利的文字描述暗示可能不止兩臺相機，原文所述為“一個或多個面向外側或提供世界視角的相機（每側）”。暫時，還不知道具體會有多少個相機，也不知道Magic Leap會把這些元件做得有多小。但我們知道的是，這些要放在眼鏡上，而且對于SLAM非常重要。
最后一個相機的功能也可以從上面的原理圖中找到。至少要有兩個相機拍攝眼睛。這是用來追蹤視線和眼動以便獲取焦點和視線方向。同時也會有紅外LED為這兩個相機提供照明。眼跟蹤對于用戶交互很重要。
我想“你在看什么”的問題對于你如何與Magic Leap交互應該是非常重要的。這將是其主要的交互工具，就像是電腦的鼠標。
當然，現在，我沒法驗證這些信息是真是假，但這些加總在一起，確實感覺上就像Magic Leap正在做的東西。不管最后這個產品會不會在消費市場上獲得成功，這確實是好一陣子沒有見到的一個技術產業的真正意義上的創新。我真的無比激動想要看看他們會有什么奇遇，同時也期待該產品在業界會造成什么樣的影響。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
