0
20世紀80年代后期，超大規模集成電路（VLSI）發明者之一、美國加州理工大學院的Carver Mead教授首次提出了神經擬態的概念，設想用CMOS模擬電路的方式去模仿生物視網膜，搭建具有生物計算特性的系統，并與學生展開了這方面的研究。
后來這項技術從美國傳播到歐洲，在全球范圍內蔓延開來，世界各地的科學家和企業家們的研究都指向同一個問題：如何才能讓基于CMOS模擬電路所做出的視網膜更接近于人眼？
來自奧地利的Christoph Posch就是關注神經擬態技術的學者之一，自2000年左就開始從事神經擬態相關的工作，并和Luca Verre共同創辦了一家研發神經擬態視覺芯片的公司Prophesee，在神經擬態視覺芯片技術領域位居全球前列。
不久前，雷峰網與Luca進行了一次交流，Luca談到了神經擬態視覺芯片技術的最新進展：人工視網膜領域已經有成功案例，目前正在手機等消費電子方面尋找更加廣闊的發展空間。
為視障人士而生的事件相機
與人體的神經反射一樣，電路中的神經擬態主要分為兩個部分，接受信號的傳感器和感受信號的神經中樞，因此衍生出類人眼和類腦等神經擬態芯片。模擬人眼的工作，主要是事件相機承擔。
與傳統的視覺傳感器有所不同，事件相機是一種受生物啟發而誕生的新型視覺傳感器，有時也被稱之為動態視覺傳感器。在生物視覺中，一部分視覺細胞會對動態的事物敏感，仿照人眼的這一特點，就誕生了用于敏感捕捉運動物體的事件相機。
事件相機的核心在于，其中每一個像素處都有一個獨立的光源，當該像素處的亮度變化超過設定閾值時，就會生成和輸出脈沖數據，因此可以完成一些基于幀的傳統相機沒法完成的任務，例如高速運動、高動態范圍建圖等等，具有高動態范圍和低時延等優點。
在神經擬態視覺技術方面擁有二十多年研究經驗的Christoph，看到了事件相機的潛力，認為是時候創辦一家公司，將這項技術從實驗室帶到市場。
Prophesee CEO Luca告訴雷峰網，大概八年前，Luca在巴黎攻讀MBA，想在事業上尋求一些新突破，正是在這個時間段結識了Christoph，在聽完其對神經擬態視覺技術的介紹和分析后，受到很大啟發，清楚地知道這項技術將為市場帶來巨大價值，于是毫不猶豫地決定同Christoph一起創業，幾天后，Prophesee就這樣誕生了。
最初，Christoph和Luca都認為，這項技術的本質在于開發一個模擬人眼的人工模型，因此可以用來模擬人眼視網膜的工作原理，幫助視網膜功能受損的盲人恢復視力，因此決定將這項技術應用于醫療領域。
“某種程度上，這也是我們決定創立這家公司的靈感來源之一。”Luca說道。
因此在Prophesee成立初期，發布的第一代產品主要用于幫助視障人士和盲人恢復視力。Luca表示，Prophesee的第一代產品主要用于生物電子公司Pixium Vision和生物制藥公司GenSight的應用，已經取得不錯的實驗成果。 “現在這兩家公司正在想辦法盡可能減少手術的復雜性，希望盡快把這項技術應用到更多患者身上。”Luca解釋道。
Prophesee作為神經擬態視覺技術方面全球領先的公司，證實了事件相機在模擬人眼方面的潛力，為了進一步推動神經擬態技術的發展，Prophesee決定一邊持續保持對醫學應用的關注，一邊將業務重心更多地轉向手機端和電子領域，以及工業領域。
從人眼到手機，化身改善影像的利器
事實上，比起在模擬人眼上取得的進展，神經擬態視覺技術在工業和消費電子領域發展更快，在CMOS痛點難解的狀況下，以及智能手機同質化嚴重的情況下，逐漸演變成手機廠商未來角逐賽中的一部分。
追溯圖像傳感器的發展歷程，最初以高像素、高制造難度的CCD器件為主流，后來逐漸被功耗和成本更低的CMOS取代。
但CMOS也有自己的問題，由于主要通過對光電流進行時間上的技術實現曝光，從曝光到數模轉化再到數據的傳輸耗時長，功耗高，影響圖像的幀率，幀與幀之間間隔時間長造成信息缺失，從而增加了機器對圖像的判斷。
同時，CMOS圖像傳感器輸出8-12bit信息，數據傳輸量大、能耗高、讀取慢、存儲空間需求、大處理圖像能耗高。
在CMOS圖像傳感器的發展歷程中，也有不少廠商嘗試解決這些痛點問題，但基于其通過快門控制所有像素在同一時間內進行積分曝光的工作原理，其幀率、數據量和動態范圍三個參數難以平衡。
例如，在高動態范圍的拍攝中，常常使用多重曝光算法，即融合多個不同曝光時間的幀圖像而成高動態范圍的圖像，必然導致幀率下降，更多的數據運算和更大的系統延時，在要求短響應時間和捕捉快速變化的場景中無法適用。
“我們平時用手機拍攝運動的物體時，尤其是在光線不足的情況下，會發現拍攝對象的邊緣不太清晰，這是因為目前手機攝像頭會在固定的時間節點獲取信息，當我們按下相機快門，傳感器開始進光，快門關閉。這段曝光時間內，如果拍攝對象發生移動，拍出來的照片就會模糊。”Luca說這是傳統攝像頭普遍存在的問題。
擁有動態捕捉能力的事件相機能夠更好地解決這些問題，因此近幾年，索尼和三星都紛紛入局事件相機，搶在CMOS革命前夜做好布局，改善手機影像能力。
Prophesee作為為數不多的事件相機初創公司，同時也是索尼的合作伙伴，鑒于在醫學應用領域的經驗，也已經在智能手機領域取得新進展，推出照片去模糊功能并已經和高通展開合作。
Luca向雷峰網(公眾號：雷峰網)展示了采用Prophesee事件相機芯片之后所拍攝照片與傳統攝像頭的項目對比，能夠觀察到前者所拍攝出的正在運動中的球拍和球都更加清晰。
“我們也有在和一些手機大廠進行合作，目標是在2024年實現量產。”Luca說道。
AR、VR和智能駕駛應用落地緊跟其后
除了在手機攝像頭領域的應用落地，事件相機也可以在一些火熱賽道上發揮作用。
Luca告訴雷峰網，AR、VR和智能駕駛，都是事件相機的目標市場。
在AR、VR領域，事件相機有望解決眼球追蹤的難題，幫助用戶降低使用AR、VR設備時的眩暈感。一年前，Meta在WACV會議上發布了一項有關解決眼動難題的應用研究，就是基于Prophesee事件相機來檢測場景中的變化。
“眼睛移動的速度非常快，所以需要非常高速的攝像頭跟蹤眼睛的移動，但傳統攝像頭基于幀，快速追逐眼動需要非常高的幀率進行拍攝，這會產生非常多數據，增加能耗和數據處理時間。但事件相機能夠針對信息的變化，只追蹤移動物本身，在保持低功耗低延遲的情況下實現高速追蹤。”Luca解釋道。
在智能駕駛方面，Luca表示，Prophesee目前的應用研究主要集中在兩個方面，一是監控駕駛員在座艙內的行為，在司機開車時對其注意力進行監控，例如通過監測眨眼的速度和頻率，判斷司機是否有出現注意力下降的情況；
二是在輔助駕駛方面，可以幫助檢測汽車前方的障礙物，尤其是在低光或者強光的環境下通過更高的動態范圍提供更準確的障礙物探測，提高行車的安全性。
目前，Prophesee也已經和博世、英特爾以及雷諾日產進行合作，展開更多在汽車領域的實驗。
如此先進的神經擬態視覺技術，工藝成本是否會比CMOS更貴，Luca則表示，Prophesee的傳感器同樣基于傳統的CMOS技術制造，在工藝成本方面相當，不過作為一項全新的技術，還需要進一步擴大研發投入，同時市場需求擴大，才能真正實現降本增效。
相關文章：
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
