為了讓iPhone實(shí)時(shí)運(yùn)行人臉檢測(cè)算法，蘋果原來(lái)做了這么多努力

本文作者：楊曉凡

2017-11-22 14:47

導(dǎo)語(yǔ)：每個(gè)能在移動(dòng)設(shè)備上實(shí)時(shí)運(yùn)行的深度學(xué)習(xí)算法背后都充滿了故事

雷鋒網(wǎng) AI 科技評(píng)論按：蘋果從iOS11開(kāi)始正式在系統(tǒng)中帶有機(jī)器學(xué)習(xí)API，同步提供了許多基于機(jī)器學(xué)習(xí)/深度學(xué)習(xí)的手機(jī)功能。其實(shí)這之前蘋果就已經(jīng)做了很多研究和開(kāi)發(fā)，但當(dāng)他們決定在手機(jī)上運(yùn)行深度神經(jīng)網(wǎng)絡(luò)、提供好用的功能同時(shí)還不要干擾正常的用戶體驗(yàn)的時(shí)候，重大的挑戰(zhàn)同樣也等待蘋果解決。

近日蘋果機(jī)器學(xué)習(xí)博客的一篇新文章就介紹了蘋果是如何設(shè)計(jì)、實(shí)現(xiàn)在iPhone上運(yùn)行的人臉檢測(cè)系統(tǒng)的，不僅模型設(shè)計(jì)花了功夫，運(yùn)行環(huán)境的優(yōu)化也用了多種技巧。結(jié)合蘋果機(jī)器學(xué)習(xí)博客往期的幾篇文章，我們也繼續(xù)感受到許多企業(yè)、許多創(chuàng)業(yè)者所說(shuō)過(guò)的，有創(chuàng)新只是第一步，把創(chuàng)新變成實(shí)實(shí)在在的產(chǎn)品還有很長(zhǎng)的路要走、還有很多的困難要克服。

雷鋒網(wǎng) AI 科技評(píng)論把這篇文章全文翻譯如下。

自iOS10以來(lái)，蘋果開(kāi)始把基于深度學(xué)習(xí)的人臉檢測(cè)方法融入系統(tǒng)中。隨著蘋果的Vision框架的發(fā)布，開(kāi)發(fā)者們可以在自己的app中運(yùn)用這項(xiàng)技術(shù)以及許多其它的計(jì)算機(jī)視覺(jué)算法。為了能夠保護(hù)用戶隱私以及高效地在本地設(shè)備上運(yùn)行，蘋果在開(kāi)發(fā)過(guò)程中也遇到了不小的困難。這篇文章中就討論了這些困難，并且介紹了蘋果的人臉檢測(cè)算法是如何解決這些困難的。

簡(jiǎn)介

蘋果最初是通過(guò) CIDdetector 類中 Core Image 框架的一個(gè)公有API 提供人臉檢測(cè)功能的。蘋果自己編寫的應(yīng)用（比如照片）內(nèi)部也在使用這個(gè)API。最早版本的 CIDdetector 基于 Viola-Jones 檢測(cè)算法（雷鋒網(wǎng) AI 科技評(píng)論注：Viola Jones Face Detector是Paul viola 和 Michael J Jones 在CVPR2001論文中共同提出的一種人臉檢測(cè)框架。它極大地提高了人臉檢測(cè)的速度和準(zhǔn)確率，是第一個(gè)實(shí)時(shí)的人臉檢測(cè)算法，即便到現(xiàn)在也還有巨大影響力），然后蘋果又在 CIDdetector 中加入了一些基于傳統(tǒng)計(jì)算機(jī)視覺(jué)方法的優(yōu)化。

隨著深度學(xué)習(xí)逐步發(fā)展，以及深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)中的應(yīng)用越來(lái)越多，頂級(jí)的人臉檢測(cè)算法準(zhǔn)確率也有了大踏步的提升。蘋果的開(kāi)發(fā)人員們意識(shí)到自己需要重新思考面部識(shí)別的做法，以便跟上這種新的范式。與傳統(tǒng)計(jì)算機(jī)視覺(jué)方法相比，深度學(xué)習(xí)學(xué)到的模型消耗的內(nèi)存要多幾個(gè)數(shù)量級(jí)，更不用提需要更多的磁盤空間以及對(duì)計(jì)算資源的渴求。

即便今天的智能手機(jī)已經(jīng)有了長(zhǎng)足的性能增長(zhǎng)和豐富的功能支持，典型的高端手機(jī)仍然不足以讓基于深度學(xué)習(xí)的計(jì)算機(jī)視覺(jué)模型運(yùn)行起來(lái)。業(yè)界內(nèi)比較普遍的做法是繞過(guò)這個(gè)困難，通過(guò)云計(jì)算API提供深度學(xué)習(xí)功能。在基于云計(jì)算的方案中，移動(dòng)設(shè)備需要把圖像發(fā)送到服務(wù)器，在服務(wù)器上運(yùn)行深度學(xué)習(xí)推理，分析、檢測(cè)其中的人臉。云計(jì)算服務(wù)通常要使用性能強(qiáng)勁的、帶有大量可用顯存的桌面級(jí)GPU。大規(guī)模的深度神經(jīng)網(wǎng)絡(luò)模型，甚至多個(gè)大規(guī)模網(wǎng)絡(luò)的融合模型就可以在服務(wù)器端運(yùn)行，讓客戶端（比如智能手機(jī)）享受到深度學(xué)習(xí)帶來(lái)的種種好處，而且無(wú)需在本地運(yùn)行（實(shí)際上也無(wú)法在本地運(yùn)行）。

蘋果的 iClould Photo Library 就是一個(gè)視頻和圖像的云存儲(chǔ)解決方案，按理說(shuō)可以方便地用服務(wù)器識(shí)別用戶已經(jīng)上傳的內(nèi)容。然而，由于蘋果對(duì)用戶隱私做出了很高的承諾、以高標(biāo)準(zhǔn)處理用戶信息，他們就無(wú)法在 iCloud 服務(wù)器上做計(jì)算機(jī)視覺(jué)的相關(guān)計(jì)算。每張上傳到 iClould Photo Library 的照片、每段上傳的視頻都是首先在設(shè)備上加密之后才上傳服務(wù)器的，要解密也只有這個(gè) iCloud 賬戶下注冊(cè)的設(shè)備才可以解密。所以，如果要給客戶們帶來(lái)基于深度學(xué)習(xí)的計(jì)算機(jī)視覺(jué)解決方案的話，蘋果只能直接面對(duì)、嘗試解決這個(gè)困難：讓深度學(xué)習(xí)算法在iPhone本地運(yùn)行。

蘋果的開(kāi)發(fā)人員們面對(duì)的困難有好幾個(gè)。

首先，深度學(xué)習(xí)模型要作為操作系統(tǒng)的一部分，隨著手機(jī)一起來(lái)到用戶手中，這會(huì)占據(jù)珍貴的設(shè)備中的NAND閃存存儲(chǔ)空間；其次，模型需要加載到RAM中，并且需要消耗可觀的GPU和/或CPU計(jì)算時(shí)間；基于云的服務(wù)往往是專用服務(wù)器，其上的所有資源都可以集中提供給一個(gè)視覺(jué)問(wèn)題使用，而在設(shè)備上本地進(jìn)行的計(jì)算就需要和其它正在運(yùn)行的應(yīng)用一起共享系統(tǒng)資源；最后，計(jì)算過(guò)程必須足夠高效，在合理的短時(shí)間內(nèi)就能處理完一個(gè)很大的照片庫(kù)，同時(shí)還不能有大幅度的功耗增加、不能有明顯的發(fā)熱。

這篇文章余下的篇幅就介紹了蘋果是如何設(shè)計(jì)深度學(xué)習(xí)人臉檢測(cè)算法、如何克服困難達(dá)到頂級(jí)的準(zhǔn)確率的。主要討論的內(nèi)容有：

如何全面利用GPU和CPU（使用 BNNS 和 Metal）
優(yōu)化網(wǎng)絡(luò)推理、圖像加載和緩存時(shí)的內(nèi)存使用
如何在與iPhone的其它大量同時(shí)運(yùn)行的功能時(shí)間不造成沖突的條件下實(shí)現(xiàn)這個(gè)網(wǎng)絡(luò)

從Viola-Jones算法到深度學(xué)習(xí)

當(dāng)蘋果的開(kāi)發(fā)人員們?cè)?014年開(kāi)始研究基于深度學(xué)習(xí)的圖像中的人臉檢測(cè)方法時(shí)，深度卷積網(wǎng)絡(luò)（deep convolutional networks，DCN）才剛剛開(kāi)始在物體檢測(cè)任務(wù)中嶄露頭角。當(dāng)時(shí)最突出的是一個(gè)名叫“OverFeat”的方法，它讓很多簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)思想變得流行起來(lái)，也表明了深度卷積網(wǎng)絡(luò)掃描圖像尋找物體時(shí)的高效性。

OverFeat在神經(jīng)網(wǎng)絡(luò)的全連接層和卷積網(wǎng)絡(luò)的卷積層之間找到了平衡，它的做法是把相同空間維度的過(guò)濾器的有效卷積作為輸入。這項(xiàng)研究清楚地表明，一個(gè)感受野大小固定（比如32x32大小，帶有16像素的自然步幅）的二分分類網(wǎng)絡(luò)可以高效地應(yīng)用于任意大小的圖像（比如320x320的圖像），并且生成合適大小的輸出映射（這種情況下大小為20x20）。OverFeat這篇論文也提供了巧妙的做法，通過(guò)高效地降低網(wǎng)絡(luò)步幅產(chǎn)生更高密度的輸出映射。

蘋果的開(kāi)發(fā)人員們根據(jù)OverFeat論文中學(xué)到的新觀點(diǎn)構(gòu)建了最初的模型架構(gòu)，做出了一個(gè)全卷積網(wǎng)絡(luò)（圖1），它可以執(zhí)行如下兩個(gè)功能：

一個(gè)預(yù)測(cè)輸入中是否包含人臉的二分類分類器
一個(gè)回歸函數(shù)，預(yù)測(cè)一組參數(shù)，它們形成的邊界框能最好地框出輸入中的人臉

為了訓(xùn)練這樣的網(wǎng)絡(luò)，蘋果的開(kāi)發(fā)人員們做了好幾種不同的實(shí)驗(yàn)。比如，一種簡(jiǎn)單的訓(xùn)練方式就是建立一個(gè)數(shù)據(jù)集，其中包含大量固定大小的圖像塊，這些圖像塊的大小和模型允許的最小輸入大小相同；這樣，每個(gè)圖像塊在經(jīng)過(guò)網(wǎng)絡(luò)之后都只得到一個(gè)輸出。訓(xùn)練數(shù)據(jù)集是平衡到理想狀態(tài)的，也就是說(shuō)一半的圖像塊里包含一張臉（正例），另一半圖像里不包含人臉（負(fù)例）。對(duì)于每一個(gè)正例，都會(huì)同步提供給模型這張臉的真實(shí)位置（x,y,w,h）。然后蘋果就以前述的兩條網(wǎng)絡(luò)功能為目標(biāo)，訓(xùn)練優(yōu)化這個(gè)網(wǎng)絡(luò)。經(jīng)過(guò)訓(xùn)練后，網(wǎng)絡(luò)就可以預(yù)測(cè)圖像塊中是否包含有一張人臉；如果包含有人臉的話，它同時(shí)還會(huì)輸出圖像塊中人臉的位置坐標(biāo)和大小。

為了讓iPhone實(shí)時(shí)運(yùn)行人臉檢測(cè)算法，蘋果原來(lái)做了這么多努力

圖1. 一個(gè)用于人臉識(shí)別的修改過(guò)的深度卷積網(wǎng)絡(luò)架構(gòu)

由于網(wǎng)絡(luò)是全卷積的，它可以高效地處理任意大小的圖像，并且產(chǎn)生二維輸出映射。映射中的每個(gè)點(diǎn)都對(duì)應(yīng)著輸入圖像中的一個(gè)小塊，并且包含了網(wǎng)絡(luò)對(duì)圖像塊中是否包含人臉、輸入中的人臉位置和大小的預(yù)測(cè)結(jié)果。

有了這樣的網(wǎng)絡(luò)以后，就可以在它的基礎(chǔ)上構(gòu)建相對(duì)標(biāo)準(zhǔn)的圖像處理流水線進(jìn)行人臉檢測(cè)。這個(gè)流水線由一個(gè)多尺度的圖像金字塔、人臉檢測(cè)網(wǎng)絡(luò)和后處理模塊組成。這里，為了處理各種不同大小的圖像需要一個(gè)多尺度的圖像金字塔。人臉識(shí)別網(wǎng)絡(luò)在圖像金字塔的每一個(gè)尺寸下都會(huì)執(zhí)行，每個(gè)尺寸都要選出候選的檢測(cè)結(jié)果。接下來(lái)后處理模型就會(huì)把不同大小的候選檢測(cè)結(jié)果組合起來(lái)，生成一個(gè)邊界框列表，對(duì)應(yīng)著整個(gè)網(wǎng)絡(luò)對(duì)圖像中人臉預(yù)測(cè)的最終結(jié)果。

為了讓iPhone實(shí)時(shí)運(yùn)行人臉檢測(cè)算法，蘋果原來(lái)做了這么多努力

圖2. 面部檢測(cè)工作流程

這種做法開(kāi)始有點(diǎn)接近能夠在設(shè)備上運(yùn)行、而且能詳盡地掃描整張圖像的深度卷積網(wǎng)絡(luò)了。不過(guò)網(wǎng)絡(luò)的復(fù)雜度和大小仍然是運(yùn)行時(shí)的性能瓶頸。克服這個(gè)困難意味著不僅要把網(wǎng)絡(luò)限制、簡(jiǎn)化為一個(gè)簡(jiǎn)單的拓?fù)浣Y(jié)構(gòu)，同時(shí)還要限制網(wǎng)絡(luò)中的層的數(shù)量、每個(gè)層中通道的數(shù)量、以及卷積層的卷積核大小。這種種限制就凸顯出了一個(gè)嚴(yán)重的問(wèn)題：產(chǎn)生的預(yù)測(cè)結(jié)果讓人覺(jué)得可以接受的網(wǎng)絡(luò)結(jié)構(gòu)必然非常復(fù)雜，多數(shù)時(shí)候要超過(guò)20層，而且有數(shù)個(gè)一個(gè)網(wǎng)絡(luò)中嵌套另一個(gè)網(wǎng)絡(luò)的模塊。把這樣的網(wǎng)絡(luò)用在前述的圖像掃描框架中可以說(shuō)是完全不可行的了，性能表現(xiàn)和電量消耗都無(wú)法接受。實(shí)際上，這樣規(guī)模的網(wǎng)絡(luò)都沒(méi)辦法加載到移動(dòng)設(shè)備的內(nèi)存中去。下面蘋果的開(kāi)發(fā)人員們就面臨了一個(gè)巨大的挑戰(zhàn)：如何訓(xùn)練一個(gè)簡(jiǎn)單、緊湊的網(wǎng)絡(luò)，讓它能夠模仿高度復(fù)雜的網(wǎng)絡(luò)的行為，達(dá)到可比擬的準(zhǔn)確率，同時(shí)還能高效、節(jié)省資源地運(yùn)行。

蘋果的開(kāi)發(fā)人員們決定利用一種新的方法，它有個(gè)非正式的稱呼是“老師-學(xué)生”訓(xùn)練（雷鋒網(wǎng) AI 科技評(píng)論注： FitNets: Hints for Thin Deep Nets）。這種方法帶來(lái)了一種新的機(jī)制，它可以訓(xùn)練第二個(gè)又窄又深的網(wǎng)絡(luò)（“學(xué)生”），過(guò)程里要讓它的輸出和上文描述的大的、復(fù)雜的網(wǎng)絡(luò)（“老師”）高度吻合。學(xué)生網(wǎng)絡(luò)是由簡(jiǎn)單的多次重復(fù)的3x3卷積和池化層結(jié)構(gòu)組成的；網(wǎng)絡(luò)架構(gòu)經(jīng)過(guò)了高度訂制，讓它能夠最好地利用蘋果在iPhone中搭載的神經(jīng)網(wǎng)絡(luò)推理引擎的計(jì)算能力。

這樣，蘋果終于找到了一個(gè)用于人臉識(shí)別的深度神經(jīng)網(wǎng)絡(luò)算法，而且是可以直接在設(shè)備上執(zhí)行的。蘋果的開(kāi)發(fā)人員們進(jìn)行了數(shù)次訓(xùn)練迭代，最終得到了一個(gè)具有足夠精度的網(wǎng)絡(luò)模型，可以支持蘋果規(guī)劃的相關(guān)應(yīng)用。雖然這個(gè)網(wǎng)絡(luò)現(xiàn)在已經(jīng)足夠準(zhǔn)確、也能夠運(yùn)行了，但是在把它真正部署到上百萬(wàn)用戶的設(shè)備中去之前，還有許許多多的工作要做。

優(yōu)化圖像處理流水線

在產(chǎn)品設(shè)計(jì)的抉擇中，深度學(xué)習(xí)相關(guān)的實(shí)際考量也產(chǎn)生了深深的烙印，因?yàn)樘O果想要做的是開(kāi)發(fā)者也可以方便使用的軟件框架，蘋果把它稱作Vision。有一件事很快就變得明顯起來(lái)，那就是只靠?jī)?yōu)秀的算法還不足以建立一個(gè)優(yōu)秀的軟件框架。蘋果還需要建立一個(gè)經(jīng)過(guò)高度優(yōu)化的圖像處理流水線。

蘋果并不希望讓開(kāi)發(fā)者考慮圖像縮放、圖像轉(zhuǎn)換以及圖像來(lái)源之類的問(wèn)題。不管是處理攝像頭實(shí)時(shí)捕捉的視頻流、處理視頻、還是處理磁盤以及網(wǎng)上的圖像，人臉檢測(cè)都應(yīng)當(dāng)達(dá)到好的工作效果。它應(yīng)當(dāng)在各種圖像表示和格式下都能工作。

蘋果也很在意電量消耗和內(nèi)存使用，尤其是在視頻流傳輸和圖像捕捉的時(shí)候。內(nèi)存消耗量有可能造成一些問(wèn)題，比如在拍攝6400萬(wàn)的全景照片時(shí)就需要消耗很多內(nèi)存。為了消除這些風(fēng)險(xiǎn)，蘋果用了一些技巧，比如區(qū)域降采樣編碼、自動(dòng)拼貼，以便能夠在大圖像上執(zhí)行計(jì)算機(jī)視覺(jué)任務(wù)，即便是在非典型的寬高比下。

另一個(gè)挑戰(zhàn)是顏色空間的匹配。蘋果有許多種不同的色彩空間API，但是他們并不想讓開(kāi)發(fā)者們?yōu)榱松士臻g的事情費(fèi)腦筋。Vision框架就會(huì)自動(dòng)處理色彩匹配的問(wèn)題，這樣也就進(jìn)一步降低了在任何應(yīng)用中使用計(jì)算機(jī)視覺(jué)算法的門檻。

Vision框架還通過(guò)中間過(guò)程的高效處理和復(fù)用進(jìn)行了一些優(yōu)化。人臉檢測(cè)、面部關(guān)鍵點(diǎn)檢測(cè)以及其它一些計(jì)算機(jī)識(shí)別任務(wù)都可以在同一張縮放后的中間過(guò)程圖像上工作。通過(guò)算法接口抽象、為待處理的圖像或者緩沖找到歸屬地，Vision可以創(chuàng)建、緩存中間過(guò)程圖像，無(wú)需開(kāi)發(fā)者做任何操作就可以提高多種計(jì)算機(jī)視覺(jué)任務(wù)執(zhí)行時(shí)的性能表現(xiàn)。

反過(guò)來(lái)說(shuō)也有很大好處。從中心接口的角度來(lái)看，算法開(kāi)發(fā)的方向可以是更高的復(fù)用程度或者更多的中間過(guò)程共享。Vision框架承載著幾個(gè)不同的、獨(dú)立的計(jì)算機(jī)視覺(jué)算法。為了讓不同的算法更好地協(xié)同工作，實(shí)現(xiàn)算法時(shí)設(shè)計(jì)的分辨率和色彩空間也應(yīng)當(dāng)盡可能多地在不同的算法之間共享。

為設(shè)備的本地執(zhí)行做優(yōu)化

如果面部檢測(cè)API既不能在實(shí)時(shí)應(yīng)用中使用、又不能在系統(tǒng)后臺(tái)進(jìn)程中工作，那么即便它設(shè)計(jì)得便于使用，也不會(huì)讓用戶感受到任何樂(lè)趣。對(duì)用戶來(lái)說(shuō)，識(shí)別照片庫(kù)中的人臉應(yīng)當(dāng)運(yùn)行得非常流暢，或者一張照片拍好以后馬上就能對(duì)它進(jìn)行分析。但同時(shí)他們也不希望電量快速下降，或者讓系統(tǒng)的性能表現(xiàn)慢得像龜爬。蘋果的移動(dòng)設(shè)備都是同時(shí)要執(zhí)行多個(gè)任務(wù)的設(shè)備，要么在后臺(tái)執(zhí)行的計(jì)算機(jī)視覺(jué)功能也就不應(yīng)當(dāng)顯著影響系統(tǒng)其它功能的執(zhí)行速度。

蘋果的開(kāi)發(fā)人員采取了幾個(gè)策略來(lái)最小化內(nèi)存消耗和GPU使用。為了減小內(nèi)存消耗，iOS中通過(guò)分析計(jì)算圖的方法為神經(jīng)網(wǎng)絡(luò)的中間層分配地址；這樣可以把多個(gè)層通過(guò)假名指向同一塊緩沖區(qū)。雖然這個(gè)過(guò)程是完全確定性的，但這個(gè)技巧既對(duì)性能沒(méi)有造成什么影響、也沒(méi)造成地址的碎片化，就減小了內(nèi)存消耗。CPU和GPU上也都可以使用這個(gè)方法。

在Vision框架中，面部檢測(cè)器下需要運(yùn)行5個(gè)網(wǎng)絡(luò)（如前文圖2，每個(gè)網(wǎng)絡(luò)對(duì)應(yīng)一種圖像金字塔中的圖像尺寸）。這5個(gè)網(wǎng)絡(luò)有同樣的權(quán)重和參數(shù)，但是輸入的形狀、輸出以及中間層有所區(qū)別。為了進(jìn)一步減小內(nèi)存消耗，蘋果在這5個(gè)網(wǎng)絡(luò)共同形成的計(jì)算圖上開(kāi)啟了運(yùn)行時(shí)的內(nèi)存優(yōu)化算法，也顯著減小了內(nèi)存消耗。另外，多個(gè)網(wǎng)絡(luò)可以復(fù)用同一組權(quán)重和參數(shù)緩沖區(qū)，也降低了內(nèi)存需求。

為了達(dá)到更快的運(yùn)行速度，蘋果的開(kāi)發(fā)人員們利用了這個(gè)全卷積網(wǎng)絡(luò)的本質(zhì)特點(diǎn)：為了匹配輸入圖像的分辨率，所有的大小都是動(dòng)態(tài)縮放的。相比于把圖像規(guī)格化到方形網(wǎng)格的像素點(diǎn)中，讓網(wǎng)絡(luò)大小匹配圖像的大小則可以大幅度減少總的操作數(shù)目，由于操作的拓?fù)溥壿嫴⒉粫?huì)被尺寸縮放改變，剩余的分配器還有很高的性能，動(dòng)態(tài)尺寸縮放并不會(huì)帶來(lái)內(nèi)存分配相關(guān)的性能開(kāi)銷。

為了保證后臺(tái)運(yùn)行深度神經(jīng)網(wǎng)絡(luò)的時(shí)候用戶界面仍有足夠的響應(yīng)性和流暢性，蘋果的開(kāi)發(fā)人員把網(wǎng)絡(luò)中每一層的GPU運(yùn)算任務(wù)不斷拆分，直到每個(gè)子任務(wù)消耗的時(shí)間都不超過(guò)千分之一秒。這樣，當(dāng)用戶界面動(dòng)畫這樣的高優(yōu)先級(jí)任務(wù)出現(xiàn)的時(shí)候驅(qū)動(dòng)程序就可以先切換給它們執(zhí)行，減輕、甚至有時(shí)候完全杜絕了幀率下降的問(wèn)題。

以上的所有方法結(jié)合起來(lái)就共同保證了用戶可以盡情享用本地計(jì)算的、低延遲的、隱私保護(hù)的深度學(xué)習(xí)推理功能，同時(shí)無(wú)需知道他們的手機(jī)正在以每秒數(shù)百GFlops的速度運(yùn)行著神經(jīng)網(wǎng)絡(luò)。