0
雷鋒網AI研習社按：在當今AI時代中，CNN和RNN都被廣泛關注，并且有很多相關討論，而最基礎的神經網絡DNN，它的研究和曝光度卻相對較少。DNN是所有其它神經網絡的基礎，所以對它有一定了解是必要的。本文為大家詳細介紹了傳統機器學習的基本概念和神經網絡的基本結構，以及如何設計神經網絡結構讓神經網絡表達出樸素貝葉斯和決策樹這兩大傳統算法模型。文章內容根據AI研習社線上分享課整理而成。
我們都知道神經網絡很強，但卻只有很少人去思考它為什么這么強。在近期雷鋒網AI研習社的線上分享會上，資深Python工程師何宇健為我們分享了如何設計神經網絡結構讓神經網絡表達出樸素貝葉斯和決策樹這兩大傳統算法模型。希望這種設計能讓大家從直觀上感受到神經網絡的強大。
何宇健，《Python與機器學習實戰》作者，來自北京大學數學系，有多年Python開發經驗，在GitHub上擁有并維護著一個純Python編寫的機器學習算法庫（180個stars，100個forks）。曾在創新工場AI工程院負責研發適用于結構化數據的新型神經網絡。希望這種設計能讓大家從直觀上感受到神經網絡的強大。
分享內容：
機器學習的基本概念與神經網絡的基本結構
樸素貝葉斯、決策樹算法簡介以及它和神經網絡的關系
具體的實現說明，以及可以做出改進與創新
大家好，我是何宇健。在當今的AI時代中，CNN和RNN都被廣泛關注，并且有很多相關討論，’而最基礎的神經網絡DNN，它的研究和曝光度卻相對比較少。DNN是所有其它神經網絡的基礎，所以對它有一定了解是必要的。有些同學可能對機器學習相關概念不熟悉，因此分享的所有內容都從最基礎的開始講起。
分享主要內容通過設計神經網絡結構來讓神經網絡表達出樸素畢葉思和決策樹這兩大傳統算法模型。希望這種設計能讓大家從直觀上感受到神經網絡的強大。
機器學習的基本概念及神經網絡的基本結構
本次分享涉及的問題都是有監督學習問題。所謂有監督學習，就是對一個模型來說，它的輸入都會對著一個目標。最終目的是模型的輸出和目標盡可能接近。
機器學習術語：
特征向量：模型接受的輸入通常稱為特征向量，用字母X代指。
標簽：模型擬合的目標通常稱為標簽，用字母Y代指。
樣本：通常聽到的“樣本”概念是特征向量+標簽的組合，用d=(x,y)代指
數據集：就是很多個樣本的集合，通常用D=（d1,d2,...dn）代指。
損失函數：計算單個樣本上模型的“損失”的函數。
代價函數：計算整個數據集上模型的“代價”的函數。
接下里進入神經網絡正題的討論。
神經網絡包含輸入層，隱藏層，輸出層。在說有多少層神經網絡時，我們不會把第一層算入其中，也就是輸入層。
層與層之間的溝通方式
每一層的每個神經元都會和下一層中的每個神經元連接，這種方式稱為全連接。在數學公式中，這種全連接稱為矩陣乘法。線性映射和激活函數是神經網絡的基本運算單元。
偏置量：打破對稱性
除非數據集本身是中心對稱，否則現在的神經網絡就不可能學到數據集背后的規律。現在的神經網絡只能學到中心對稱的規律。
神經網絡的基本算法
前向傳導算法，它是神經網絡計算模型輸出的過程。就是一步步將當前值往前傳，往前計算。
梯度下降法，神經網絡進行訓練的算法。梯度下降中的梯度就是使得函數值上升最快的方向，我們的目的是最小化損失函數，如果梯度是使得函數值上升最快的方向，那么負梯度方向是使得函數值下降的方向。
神經網絡和傳統機器學習算法的對比
傳統機器學習貝葉斯
樸素貝葉斯思想：出現概率越大的樣本就是越好的樣本。知道思想后， 如何具體進行操作呢，如何估計出樸素貝葉斯公式中涉及到的概率呢？它會用頻率估計概率的方法來把各個概率都估計出來，說的直白點就是數數。
事實證明我們確實能通過一個數據集把樸素貝葉斯模型生成出來。
下面來看看如何用神經網絡來表達生成出來的樸素貝葉斯模型。樸素貝葉斯里面用到非常多乘法，而線性模型里面全都是加法，此時會想到用到對數函數log。
我們證明了樸素貝葉斯是線性模型，而神經網路能退化為線性模型，從而意味著神經網路能將樸素貝葉斯表達出來。
接下來介紹決策樹和神經網路關系。同樣會證明神經網路能將決策樹表達出來。
決策樹很簡單，它會先把特征向量空間劃分為一個一個互不相交的子空間，劃分完之后會給子空間打標簽。做預測的時候，會根據輸入的X，看它是屬于哪個子空間，然后將相應的標簽輸出給它。
決策樹也有很多問題，但只要給了數據集，不出現同一個特征向量對應兩種不同標簽的情況，那么決策樹是百分百可以將數據集的所有樣本擬合正確。因為他只需要不斷將子空間細分就可以了。
設計神經網絡結構以表達出決策樹的算法
設計的關鍵思想總結為以下三點：
第一個隱藏層能表達出決策樹的中間節點所對應的超平面。
第二個隱藏層能夠表達出各個決策路徑
第二個隱藏層和輸出層之間的權值矩陣能夠表達出各個葉節點。
我們可以看到，第二個隱藏層和輸出層之間的權值矩陣確實能夠表達出各個葉節點。因此也完成了決策樹往神經網絡的轉化。
具體實現與改進創新
如何進行具體的實現以及改進和創新。事實證明確實可以將傳統算法轉化為神經網絡，但是這種轉化是否真正有意義呢？通過改變決策樹對應的神經網絡的激活函數，其實可以得到一些有意思的結果。可以關注AI研習社看直播視頻回放。
決策樹轉換為神經網絡的例子
右邊的結果不一定更好，但至少從直觀上看邊界可能更舒服一點。
總結：
更多詳細內容，請點擊：http://www.mooc.ai/open/course/299
雷鋒網提醒：關注微信公眾號：AI研習社，定期有免費干貨內容分享。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
