ICML2021 | 可解釋性：對(duì)神經(jīng)網(wǎng)絡(luò)中層特征復(fù)雜度的解釋與拆分

作者 | 任潔

編輯 | 王曄

隨著深度神經(jīng)網(wǎng)絡(luò)的應(yīng)用日益廣泛，可解釋性也逐漸受到更多學(xué)者的關(guān)注。目前對(duì)神經(jīng)網(wǎng)絡(luò)的可解釋性研究主要分為兩個(gè)方面，一方面是語(yǔ)義層面的解釋，另一方面是數(shù)學(xué)層面對(duì)網(wǎng)絡(luò)表達(dá)能力推導(dǎo)。

• 在語(yǔ)義層面，最直接的方法是可視化神經(jīng)網(wǎng)絡(luò)的中層特征，同時(shí)很多研究也致力于估計(jì)輸入樣本中不同單元對(duì)于神經(jīng)網(wǎng)絡(luò)輸出的重要性（attribution/importance/saliency）。

• 在數(shù)學(xué)推導(dǎo)的層面，很多研究嘗試從各個(gè)角度推導(dǎo)出神經(jīng)網(wǎng)絡(luò)表達(dá)能力的邊界。然而，這兩類解釋性研究往往各自為戰(zhàn)，語(yǔ)義層面的解釋往往缺乏堅(jiān)實(shí)的理論支撐，數(shù)學(xué)層面的推導(dǎo)又難以對(duì)接到人的認(rèn)知，讓人真正地理解神經(jīng)網(wǎng)絡(luò)。

在本文中，作者從特征復(fù)雜度的角度出發(fā)，嘗試將語(yǔ)義解釋與神經(jīng)網(wǎng)絡(luò)的表達(dá)能力相結(jié)合。神經(jīng)網(wǎng)絡(luò)的中層特征往往是混雜的，包含非常豐富的信息，其中，一些特征是簡(jiǎn)單的，另一些特征則是非常復(fù)雜的，需要經(jīng)過復(fù)雜變換才能學(xué)習(xí)到。受這一點(diǎn)啟發(fā)，本文內(nèi)容：

1.定義了神經(jīng)網(wǎng)絡(luò)中層特征的復(fù)雜度；
2.在語(yǔ)義層面，實(shí)現(xiàn)了對(duì)簡(jiǎn)單特征、復(fù)雜特征的拆分及可視化，發(fā)現(xiàn)簡(jiǎn)單特征往往表示物體的主體形狀，而復(fù)雜特征則是一些細(xì)節(jié)、噪聲信息；
3.在表達(dá)能力層面，本文用可靠性、有效性，及過擬合程度評(píng)測(cè)了神經(jīng)網(wǎng)絡(luò)特征，量化了特征表達(dá)能力與特征復(fù)雜度、訓(xùn)練樣本數(shù)等因素之間的聯(lián)系；
4.基于上述結(jié)論，本文利用拆分出的特征向量進(jìn)一步提升了神經(jīng)網(wǎng)絡(luò)的性能，并解釋了經(jīng)典學(xué)習(xí)算法的效果。

論文標(biāo)題：“Interpreting and Disentangling Feature Components of Various Complexity from DNNs” in ICML 2021

論文鏈接：http://proceedings.mlr.press/v139/ren21b.html

作者：

任潔*：上海交通大學(xué)博士一年級(jí)，師從張拳石副教授。
李明杰*：上海交通大學(xué)本科四年級(jí)，現(xiàn)在張拳石實(shí)驗(yàn)室進(jìn)行實(shí)習(xí)研究。
劉澤旭：上海交通大學(xué)本科三年級(jí)，曾在張拳石實(shí)驗(yàn)室進(jìn)行實(shí)習(xí)研究。
張拳石：上海交通大學(xué)副教授，博士生導(dǎo)師。http://qszhang.com

本研究是在張拳石老師 @Qs.Zhang張拳石 指導(dǎo)下完成的工作。

點(diǎn)擊觀看論文視頻解讀：

1

算法簡(jiǎn)介

將神經(jīng)網(wǎng)絡(luò)中層特征解構(gòu)并可視化出不同復(fù)雜度的特征分量：神經(jīng)網(wǎng)絡(luò)從輸入樣本中抽取得到了非常豐富的特征，而這些特征既包含簡(jiǎn)單的特征分量，也包含復(fù)雜的特征分量。簡(jiǎn)單的特征分量往往經(jīng)過簡(jiǎn)單的變換就能得到，例如通過一個(gè)較淺的神經(jīng)網(wǎng)絡(luò)，而復(fù)雜的特征分量則需要較深的神經(jīng)網(wǎng)絡(luò)才能擬合。即，給定一個(gè)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)f，和輸入x，其中層特征f(x)中包含了不同復(fù)雜度的特征分量：

其中c(1)(x)表示不同復(fù)雜度的特征分量。我們利用學(xué)習(xí)某個(gè)特征分量所需要的最少的非線性變換數(shù)來量化這個(gè)特征分量的復(fù)雜度。例如，單層神經(jīng)網(wǎng)絡(luò)（只包含一個(gè)非線性層）所能擬合的特征分量c(1)(x)的復(fù)雜度階數(shù)定義為1階，c(1)(x)稱為f(x)的一階復(fù)雜度分量。包含連個(gè)非線性層的神經(jīng)網(wǎng)絡(luò)所能夠擬合的特征c(2)(x)稱為二階復(fù)雜度分量，以此類推。

為了從f(x)中拆分出不同復(fù)雜度的特征分量，我們通過知識(shí)蒸餾的方法訓(xùn)練多個(gè)不同深度（包含不同多個(gè)非線性層）的拆分網(wǎng)絡(luò)，淺層的神經(jīng)網(wǎng)絡(luò)只能學(xué)習(xí)到簡(jiǎn)單特征，而深層網(wǎng)絡(luò)所擬合的特征包含了簡(jiǎn)單特征和復(fù)雜特征。因此，深度為l-1的拆分網(wǎng)絡(luò)和深度為l的拆分網(wǎng)絡(luò)所擬合的特征的差值，就是復(fù)雜度為l階的特征分量。

下圖展示了不同階特征分量的可視化結(jié)果。可以看出，簡(jiǎn)單特征往往包含與輸入物體形狀相關(guān)的信息，而復(fù)雜的特征分量包含了更多的細(xì)節(jié)信息和噪聲信息。

2

探索實(shí)驗(yàn)

基于上述特征復(fù)雜度的定義，我們提出了一系列指標(biāo)，量化分析了不同特征分量的可靠性、有效性和過擬合程度。

1.可靠性：本課題組前期的特征表達(dá)一致性理論已經(jīng)證明，對(duì)于同一項(xiàng)任務(wù)，不同神經(jīng)網(wǎng)絡(luò)往往會(huì)建模一些公共信息，這些公共信息被認(rèn)為是完成這項(xiàng)任務(wù)的可靠特征。

原論文鏈接：https://arxiv.org/abs/1908.01581

本文中，我們從各階復(fù)雜度的特征分量中進(jìn)一步提取出了可靠的特征子分量，從而量化了不同復(fù)雜度特征分量的可靠性。

實(shí)驗(yàn)中，我們發(fā)現(xiàn)，增加神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本量，能夠有效提升特征的可靠性，但不會(huì)顯著影響特征復(fù)雜度的分布，這在一定程度上與人們的直覺是相反的。

2. 有效性：基于Shapley value，我們量化了特征分量是否有效地幫助了神經(jīng)網(wǎng)絡(luò)的分類（或其他任務(wù)）。我們用每個(gè)特征分量對(duì)分類任務(wù)的損失函數(shù)的下降的Shapley value量化特征分量的有效性，發(fā)現(xiàn)特征不是越復(fù)雜越有效的，相反，當(dāng)特征復(fù)雜度為網(wǎng)絡(luò)深度的一半時(shí)，特征分量的有效性最高。

3. 過擬合程度：與有效性類似，我們利用特征分量對(duì)訓(xùn)練損失與測(cè)試損失差值的Shapley value，量化特征分量是否是過擬合的。實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)增加訓(xùn)練樣本量時(shí)，往往能夠降低簡(jiǎn)單特征（低復(fù)雜度的特征分量）的過擬合程度，而這一規(guī)律對(duì)于復(fù)雜特征并不適用。

3

拓展應(yīng)用

基于以上實(shí)驗(yàn)發(fā)現(xiàn)，我們進(jìn)一步利用特征復(fù)雜度去提升網(wǎng)絡(luò)性能，并解釋了知識(shí)蒸餾、網(wǎng)絡(luò)壓縮這兩種經(jīng)典的深度學(xué)習(xí)算法。

1. 提升網(wǎng)絡(luò)性能

前文中我們已經(jīng)發(fā)現(xiàn)，當(dāng)特征分量的復(fù)雜度為網(wǎng)絡(luò)深度一半時(shí)，該分量是對(duì)任務(wù)最有效的。因此，我們將神經(jīng)網(wǎng)絡(luò)原始特征f(x)替換為所拆分出的有效特征分量，使神經(jīng)網(wǎng)絡(luò)的分類性能最高提升了5%；并且，我們發(fā)現(xiàn)中階復(fù)雜度的特征對(duì)神經(jīng)網(wǎng)絡(luò)性能的提升更加有效。

2. 解釋經(jīng)典算法

本文中，我們解釋了網(wǎng)絡(luò)壓縮和知識(shí)蒸餾兩種算法對(duì)神經(jīng)網(wǎng)絡(luò)特征復(fù)雜度的影響，發(fā)現(xiàn)知識(shí)蒸餾使神經(jīng)網(wǎng)絡(luò)學(xué)到了更可靠、更有效的特征，從而在一定程度上提升了網(wǎng)絡(luò)性能；網(wǎng)絡(luò)壓縮則主要作用于網(wǎng)絡(luò)中的簡(jiǎn)單特征，且不會(huì)影響特征可靠性，因此能夠保證網(wǎng)絡(luò)性能不受顯著破壞。

掃碼添加小助手微信（AIyanxishe3），備注ICML2021拉你進(jìn)群。

贈(zèng)書福利 

AI科技評(píng)論本次聯(lián)合Springer為大家?guī)?strong style="outline: 0px;">5本周志華教授親筆簽名的《Machine Learning》正版新書。

在AI科技評(píng)論8月28日頭條文章“周志華《西瓜書》上線英文版！”（注意不是本文，僅限AI科技評(píng)論微信公眾號(hào)端）留言區(qū)留言，歡迎大家暢所欲言，談一談你對(duì)本書的看法和期待。在綜合留言質(zhì)量（留言是敷衍還是走心）和留言點(diǎn)贊最高（注：點(diǎn)贊最高的前5不意味著一定會(huì)中獎(jiǎng)）的讀者中選出5位讀者獲得贈(zèng)書。獲得贈(zèng)書的讀者請(qǐng)聯(lián)系 AI 科技評(píng)論客服（aitechreview）。

• 留言內(nèi)容會(huì)有篩選，例如“選我上去”、“這書寫的很棒（僅僅幾個(gè)字）”等內(nèi)容將不會(huì)被篩選，亦不會(huì)中獎(jiǎng)。

• 留言送書活動(dòng)時(shí)間為2021年8月28日 - 2021年9月01日（23:00），活動(dòng)推送時(shí)間內(nèi)僅允許贈(zèng)書福利中獎(jiǎng)一次。

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。