3
“凡走過必留下痕跡”，大數據時代，你的一舉一動都在為你建立一個電子檔案，從你有多少張信用卡、每個月消費多少、還款記錄如何到你喜歡瀏覽什么網站、手機是什么型號甚至IP地址對應的位置，有一萬多個詞條可以刻畫你的肖像，銀行在不需要跟你打交道的情況下可以靠這種數據肖像決定要不要給你放款、放多少合適。這就是大數據征信。
每個人每天會產生無數的信息，征信機構如何從這里面抽絲剝繭找到有效的數據，又如何給每個數據設置合理的權重去建立模型？機器出現故障之后又如何修正？我們請到了在征信上有多年經驗的嘉賓、冰鑒科技創始人兼CEO顧凌云來為我們解答。
顧博士是卡耐基梅隆大學計算機博士，畢業后在華爾街做對沖基金中高頻交易的算法工程師，兩年多后作為創始成員加入 Zest Finance（一個美國的金融科技公司，主營業務是信用評分），顧博在 Zest Finance 全面負責模型組的研發工作，三年開發了6代模型；離開后去了 小微企業征信和借貸的機構Kabbage 擔任首席數據科學家。顧總是征信方面的權威專家，曾獲得過“中國征信50人”的稱號。
冰鑒科技創始人兼CEO 顧凌云
以下是本次公開課的內容，顧凌云口述，AI金融評論（微信號aijinrongpinglun）整理。
先想說一點有意思的題外話，我后面很可能都會直接用語音，但實際上現在所有這些文字，我也都是直接通過說話然后通過語音識別轉化成文字，這實際上就是機器學習和人工智能的一種應用。蘋果使用的Siri語音識別算法，有一部分就是我在卡內基梅隆大學時候博士階段論文的一部分工作，我舉這個例子的意思其實是想告訴大家，人工智能其實進入我們的生活已經有一段時間了，但實際上很多人工智能最終都需要通過人工來進行干預，所以實際上真正人工智能最具有挑戰的是它的最后1公里。
那為什么在開始這段語音轉變文字之后，我會直接使用語音？那就是因為在最后的自然語言處理當中有一些小的問題語音識別和自然語言處理還不能完成，比如她/他的自動識別，專業單詞的準確判斷等等，所有這些問題其實在我們進行金融和征信領域的工作當中同樣存在。
很多人可能都會問我一個問題，那就是今天的征信行業有這么多人進入，逐鹿中原，它到底什么時候會變成紅海？現在的藍海還有哪幾塊東西可以做？如果說是任何一家以技術起家的征信公司，如果它們想要做得比較好的話，核心競爭力在哪里？
實際上所有這些問題，最后都會歸結為幾個不同的方面。在這里，我可以簡單地介紹一下建立幾個好的模型的步驟：獲得數據之后，第一步是原始清洗——基于技術數據；第二步是變量選取；第三步變量整合，第四步單一模型的建立；第五步，五多模型建立。每一步中都有許多細節的工作需要完成。
如果今天市場上有100家征信公司，那我可以肯定的說——100家號稱自己做征信的公司中，80家是依靠于自己的特殊資源在做簡單的數據販賣的工作，通過自己獨特的渠道獲得獨特的數據，而些依托于自己本身特有場景所產生的數據源變成了目前市場上成為絕對主力的征信公司。真正依托技術做征信的公司實際上并沒有那么多。
而在我們看來，真正的征信公司不僅僅是能夠產出原始底層數據，關鍵是應該根據原始數據所帶有的特質進行量化提純工作，并且最終這些可以體現在信用決策上。真正能完成這些的公司并不多，去掉那些販賣數據的公司，現在征信公司剩下20%都不到。
而在這20%的公司當中，實際上又有很多公司并不是真正的我們意義上的第三方征信平臺。實際上他們都是依托于自己本身所擁有的借貸環境——一方面在通過放貸積累數據，另一方面通過自己的建模工作同時提供征信。這樣的商業模式并沒有問題，但是從某種角度來講，這樣的公司即扮演運動員的角色又扮演裁判的角色，但是在今后中國的征信市場如何看待這樣以借貸起來的征信公司，我想還是會有比較長時間的爭論。
很多人都會問，一個技術起家的公司，在數據清洗方面到底有什么地方能跟其他公司做得不一樣的。 這一點上，我想分享一個有意思的應用場景，做機器學習，我們可以把幾乎所有的場景變成兩個類別Supervised learning（監督學習 ） 和Unsupervised learning（無監督學習）。在這兩個場景場景當中，當我們在進行無監督學習的時候，我們并不需要一個人還貸記錄這樣的好壞標簽，我們可以通過一些其他的變量，來判別和進行大的類別的劃分。而監督學習或者分類過程中，我們應該讓一開始機器先找到一部分找到好壞標簽新進行學習，然后再對新進人群進行判斷。
在這樣的情況下，我們有必要先對建模的基本概念進行闡述，這樣我們才能知道對于數據的處理應該聚焦在什么地方。首先，我們在進行有監督學習的時候，我們往往會在方程的兩邊進行判斷。而方程的左邊我們叫因變量，或dependent variable，是一個人在之前是否有過還貸記錄，也就是我們所謂的好壞標簽，而另外一邊是描述這個人各種各樣的信息，我們叫做自變量，也就是independent variable。
當我們做了這樣的定義以后，對于數據的處理就比較清晰了。我們或者要聚焦于對因變量進行處理，或者聚焦對自變量進行處理。
我們先從對于因變量的處理開始，大家可能都知道一個征信公司到底能做的多好，他的數據量有多大是至關重要，而很多人遇到的瓶頸問題就是，他們很難搜集到各種企業和個人進行還貸的歷史記錄，很少有企業能夠完成因變量大規模積累的工作。
這一項工作，在美國如果我們完全不需要人工智能或者機器學習的介入，最傳統解決辦法我們叫reject inference（拒絕推斷）。也就是，當我在這里沒有辦法在自己的場景當中獲取其他人的好壞標簽的時候，我們往往會通過其他的征信局或者其他的放貸機構，進行交換或者購買好壞標簽的形式來獲得。在中國初創征信壞境中，這樣的方式十分困難，因為大多數機構都想獲得別人的而不愿意分享自己的。所以從這個角度來講，指望通過reject inference，通過別人的借貸來獲得信息就比較困難。
那些在機器學習當中，我們有什么解決方法呢？有兩種：self-training and transdurant （SVM）。當我們明確知道有一些是好的和有一些人是壞的前提下，通過一個分類器對其他未知的變量的進行處理的過程中，能夠通過一些自適應的學習方法把在未知的人群中把有明顯傾向的人分成好的和壞的。
在方程式的右邊，對于所有的自變量，我們有什么方法處理？傳統意義上來講，我們獲得所有的變量之后，第一步是變量選取或者整合。而變量選取和整合，在統計和初步機器學習過程當中最常用的是stepwise （逐步回歸），它分為forward stepwise（前進逐步回歸） 和backward stepwise（逐步后向算法 ）。顧名思義，stepwise就是通過一個一個把變量拿出來和放進去的方式來決定哪個變量比較重要。
比如，現在我一共有10個變量，我并不知道哪一個好哪一個壞。最常用的方法是，我把10變量都留在里面做一個模型，然后扔掉一個變量再做一個模型，然后再扔掉一個變量做一個模型，以此類推。大家就能看到，10個變量做的模型和9個變量做的模型相比較結果差異到底有多大。那么以此類推，8個，7個都是一樣的。我們就能判斷每個扔掉的變量扮演的角色到底有多重要，從而判斷這是不是一個該留在模型的變量。
那么問題來了，10個變量到底該先扔誰呢？
那么在機器學習的過程中我們有一個新的方法叫lasso的方法來處理這個問題，它可以在多維度空間的方向中進行搜索，選擇哪些是重要的哪些是不重要的。
在我講的這些對于數據清洗的過程，某種程度應該都是比較小的壁壘，能夠慢慢積累起來。實際上，還有很多方方面面的工作要做，（都可以形成壁壘）。
在剛剛一開始的時候，我提到過，中國的征信市場如果有100家征信公司，80家公司都是做原始數據販賣的，真正以技術立足的不到20家。征信領域很多人說數據為王，很多人說技術為王，二者誰會勝出呢？那我們可以借鑒一下美國的歷史，來看以后今后中國市場的走向。
我們先來看看，在征信起步的過程中，數據都扮演了很重要的角色，如果沒有數據，建模就無從談起，更不要說用什么方式建模。我要說的是，在今后征信的發展過程中，數據的獲取是會越來越簡單，還是越來越難？
先來看一看，數據可以被分成什么樣的大類。從我個人的看法，可以分為兩類，一類是依托于公共環境或者政府的背景而產生和積累起來的，這一部分我們不妨叫做行政數據，比如說汽車注冊信息，學籍學歷，犯罪記錄等等。這些都是依托于政府或者公共設施積累起來的。 另外一些就是私營企業或者上市公司，通過自己獨有的生態圈產生出來的數據。
而在這樣的第二類的數據中最有代表的，應該就是阿里形成的自己獨有的生態圈中的電商數據，騰訊利用微信所形成的獨有的社交數據，或者騰訊和網易形成的游戲數據。我們可以從另一個角度看一下今天百度的困境在什么地方。
很早之前的時候，谷歌為了擊敗Facebook專門制做了一款自己的應用叫Google+，就是為了取代Facebook。當時FB還不大，Google為什么要這么做？因為Google早就看到了今天百度面臨的困境——那就是，大家進行百度搜索的時候都不會進行用戶名登錄，所有的特質信息，在百度的搜索引擎面前都是很蒼白的。但是，無論是你是使用阿里的電商或者騰訊的社交，都有很完整的個人信息和軌跡，所以不同的生態圈產生出來數據的價值是完全不同的。
那么，這些數據隨著征信的發現，獲取數據會變得越來越簡單還是越來越難呢？
第一類行政數據我相信今后會越來越簡單。不管是這屆政府要求大力發揮大數據的作用，還是萬眾創新大眾創業的大背景，或是一些要求打破信息孤島的行政命令也好，我們可以看到基于政府和公共設施的公共數據今后的獲取會變得非常的簡單。
如果兩年前就從事征信這個行業，大家可能知道，那時候銀行想要購買工商的數據——在某一段非常熱的時期，一條最基本的關于企業的工商數據：僅僅包括法人是誰，什么時候注冊，注冊資本，經營范圍，法人經營范圍注冊資本有沒有變更，僅僅這些信息，都不包括出資信息，股份比例，其他信息都是沒有的情況下每一條數據就可以賣到15塊錢。今天很多平臺可以免費查到這些信息，行政數據上向前買了一大步，而這一切是不以哪些主管官員的意志為轉移的，愿意或者不愿意，他們都將慢慢打開信息孤島，把這些信息聯系在一起。
另外一個角度來講，大家可能會問，那么阿里騰訊為代表的生態環境圈中的環境會開放嗎？他們肯定不會的對不對？是的，他們肯定不會公開這些數據。但是，從美國到中國到歐洲到拉丁美洲到日本，所有這些早期開始進行征信的國家都證明了一點——就是數據的最終擁有者不是這些平臺的托管商而是數據的產生者。也就是說，誰擁有支付寶誰擁有微信，他們這些個體才是數據的擁有者；而阿里微信他們僅僅的數據的托管平臺，也就是說他們無權拒絕在授權情況下這些數據對征信供應商的使用。
總體來講，所有數據，無論是行政還是生態圈數據在今后隨著競爭激烈，一定不會出現有些人獨有一些數據有些人沒有的情況，最終可能是采購價格上的差異。不會是計算機1和0 的區別，頂多就是你5毛錢可以買到我只要4毛八的區別而已。
數據最后一定會成為像期貨一樣是可以自由的交易，不會成為征信公司的壁壘。五年十年后，中國征信領域如果還有誰是依靠獨有的數據獲得領導地位的話，這不僅僅可以說是中國征信領域的悲哀，甚至都可以看做是改革開放努力的一個不算成功的標志。
也就是說，單純依靠特定信息源上暫時處于領跑地位（或者暫時有一定利潤）的征信機構，如果不對自己的技術進行改造，幾乎可以肯定，三四年后會是首批被市場淘汰的對象。
我認為兩三年三五年后，能在征信領域快速跑出來的公司，一定是像日本的匠人一樣擁有工匠精神，在技術積累、信息源的整合，在每一個細小環節都比對手領先10%或者15%的優勢來獲得的全面的領先地位，而一定不是單純通過在某一個環節通過獨有的信息源或者技術徹徹底底打到對方。
我的前同事李豐投資了“三只松鼠”，也許很多人說賣堅果并不是什么技術含量很高的工作，為什么三只松鼠可以做到排名第一？三只松鼠的客服稱用戶為“主人”而不是“親”，聽起來有些滑稽，但他把用戶的感受又往好的地方提升了一步；它的產品袋子里有一個垃圾袋、濕紙巾，可以讓你擦手、放垃圾，這些細小的東西本身都不能形成單一的競爭力，但是把這些因素揉和在一起，在各個微小的維度上發現三只松鼠都和競爭對手拉開了差距。
賣堅果是這樣，征信其實也是一樣，我覺得要從競爭里跑出來，企業的基本邏輯都是相似的。
我說一個故事，我們招人的時候，我們對于在機器學習上有沒有過硬背景是非常看重的，但這不是我們唯一考慮的因素。我們曾面試了好幾個美國最好的學校出來的博士生，我們給他們一組數據，讓他們在規定的時間返回結果，但不告訴他應該返回什么結果，相反，我們讓他們自己定義到底什么樣的結果才是他們滿意的，為什么定義這樣的指標。
事實上，十個里面有八九個都會用“準確率”來作為衡量算法是否準確的唯一標識，但是，這樣的判斷標準在征信領域是正確的嗎？我既然這么問，顯然答案是不對的。
征信的場景中，有哪些事情是我們看重的？
我舉個例子，有個人說他（放貸）批了10個人，有9個證明是好的，只有一個是壞的，他說他的準確率90%，你聽完后覺得他的算法是好的嗎？
那么我會告訴你，這個答案不是簡單的是或者而不是，他有一件事沒有告訴你，真正的申請者可能有100個，其中99個是好人，只有1個壞人，而他把那唯一的一個壞人放到了批準名單里。從這個角度，雖然他批準的10個人中準確率是90%，但我們還能說這個結果還是好的嗎？算法是好的嗎？
在征信中，我們會把批準率和壞賬率結合起來，也就是在機器學習中把precision（精確率）和recall（召回率）結合起來，才能作一個綜合的判斷。
當然，征信領域我們用得最多的是KS distance（KS距離），這是俄羅斯的兩位數學家名字的首字母。
在金融領域，什么案例能證明機器學習有用？
我們很多模型都在金融機構的完成兩個維度中至少一個維度的提高，那就是我們可以在保證批準率相同的請胯下降低壞賬率，或者在相同的壞賬率的情況下提高批準率。現在中國的征信剛剛起步，我們的模型在很多場景下可以既提高批準率又可以降低壞賬率，這不是一個長遠的情況。但總體而言，至少要做到單一維度上的提升，才可以稱得上是一個好的金融科技公司。
早年我們自己開玩笑，機器學習到底是機器學人還是人學機器，明明是人在學機器，我在卡梅隆6年才拿到我的博士學位，每天起早貪黑，科比說他看過洛杉磯凌晨4點的樣子，我說這有什么稀奇的，我經常看到3點的匹茲堡。從我的經驗來看，不是機器在學習人，而是人在學習機器。
舉個例子，我們怎么對機器的錯誤進行修正？回到變量的選取，變量的選取有很多方法，stepwise也好，lasso（逐步套索）也好，最終無外乎對每一個獨特的變量進行選取。可是，如果幾個變量柔和在一起形成一個新的變量，最終的結果是不是比一個單一變量更好？客觀上這是很有可能的，但我們怎么才能做到？機器在早期的學習中是不能完成這一的工作的。
我舉個例子，我們獲得一個人過去十年搬家信息，十年搬了8次，我們如果單獨對變量進行選取，可能只能選取其中一次的搬家歷史，人工能發現這其中的問題，其次最好的辦法是對這些搬家的變量求一階導數，這十年他搬家是越來越快還是越來越慢，只有這樣的變量對我們的模型才是有幫助的。
中國過去幾十年都是以美國為標桿，以抄襲美國獲得所謂“創新”。美國的Google，Facebook，ebay，亞馬遜，在中國都能找到門徒，這是過去的狀況。目前，中國的創新企業已經在改變這一的趨勢。
一個最簡單的感受，過去需要花3年時間才能抄的東西，現在3個月就能抄得比較像，有的特定領域美國要反過來學習中國。
原因我認為有幾個：
美國的金融業已經很成熟，主流和非主流金融人群的需求都能被得到滿足，基本上沒有什么需要改良的地方；中國的情況則是五大行高高在上，其他行在行政束縛下面很難邁動腳步。
科技金融在美國沒有機會，在中國機會很大。P2P，美國就那么兩家，而中國我們的P2P 3000家都不止，及時在銀監會和央行的聯手打壓下還有2000多家存活下來，可見這兩個地方金融環境是天差地別的。美國現在所有的數據商都很完整，大家選取數據商就能完成征信工作，而中國很多地方需要自己把各個碎片的信息拼接在一起，而這也是我們征信創業者的機會。
我手中沒有水晶球，沒有辦法準確預測中國征信未來的樣子，但我有一點是可以確定的：
中國一定不需要幾百家征信公司，即便這個市場比美國大很多，我想好的情況可能是有十幾家征信公司這十幾家術業有專攻，主要分為兩類，一類是因為有積累了獨有的數據源而形成獨有場景的征信公司，比如像阿里巴巴這樣的基于電商數據的電商征信，或者順豐以快遞為基礎的快遞征信，等等——我比較大膽的預測，每個場景可能只有一家征信公司能存活下來；第二類是跨領域跨平臺的征信公司，可能有5到7家就差不多了。
最后一點，人工智能在征信領域中有哪些運用？
我簡單舉兩個例子，第一個是深度學習。深度學習并不一定在所有金融領域中都有應用，其本質是需要有場景經驗來調優的更復雜的人工神經網絡。所以，實際上我們要做的是在缺乏有效的很多的好壞標簽的情況下，如何利用有效的人工神經網絡來做遞推和歸納。
那么另外一點就是自然語言處理。當我們獲得一個企業的名字的同時，我們可以在全網對企業相關信息進行爬取，然后對所有文本進行精準機器學習的建模分析，然后在規定的時間中檢查其輿情反響，來進行征信工作。在我看來，很多人工智能讀到的領域都可以討論，但深度學習和自然語言處理是最重要的。
關于中國征信今后的發展趨勢，您提到“好的情況是可能有十幾家征信公司，這十幾家征信公司術業有專攻”，您能再講一下十幾家征信公司并存是什么情形嗎？
我剛才的想說的是這十幾家并存的征信公司會分成兩類，一類是有因為有積累了獨有的數據源而形成獨有場景的征信公司，比如像阿里巴巴這樣的基于電商數據的電商征信，或者順豐以快遞為基礎的快遞征信，等等。還有一個是跨領域或者跨界的，以第三方征信平臺為特色的征信公司。
而跨界征信平臺出現的原因是因為積累了獨有的數據源的企業，雖然他們本身足夠強大，但也因此引起其他公司的警惕，以至于他們想和其他公司交換數據或者獲取其他公司的數據變得不可能，所以只有第三方征信公司才能緩解這樣的問題。
說到機器出錯的問題，舉一個特定的例子，比如我們這種媒體從業者，因為職業需要天天瀏覽P2P、套現等等的網站，機器會不會把我判斷為信用狀況很差、償還能力很低的人？會怎么修正？
這是有意思的問題。我想以“什么數據最重要、最容易建模”的說法來回答這個問題。
很多人認為，外圍的行為數據能夠比較準確地說明一個人的還貸能力，而事實上并不是這樣子的。從機器學習建模的角度來說，所有的數據或者說獨立變量可以分為三個部分：第一部分是核心金融數據，如經濟能力、經濟行為是怎樣的，有沒有還錢等；第二是泛金融數據，比如住在什么小區，購物消費記錄是怎樣；第三個才是社交數據，比如網上瀏覽的鼠標軌跡如何。
但是，這三類數據的重要性是完全不一樣的，核心金融數據的重要性遠遠強于后面二者，而第三類所謂的網上行為或者社交數據用來反欺詐或許有用，但用來判斷還貸能力是及其不靠譜的，所以說提問這個例子，會是眾多變量中放到模型去考慮的一個，但絕對不可能因為這樣的情況而把償還能力拉低，或者判斷為你的信用狀況很差。
對個人建立數據肖像，是不是意味著對一個團隊也可以建立數據肖像？這兩者的差異大嗎？
答案是肯定的。而個人征信和企業征信的差異，是在于當各個不同的團體產生后，數據的離散性，包括數據的可持續性都會是很有意思的問題，這些在建模過程中都會是不一樣的。
舉個例子，比如我們對一個餐館進行征信，那么這個餐館的成員就可以看成是一個小團隊，里面有老板、老板娘，還有廚師、采購和服務員，但這個團隊中個體的差異很大，以及個體角色的重要性不同，就決定了我們建模過程中，方法就會遇到很多挑戰。比如自己的老板小三上位，老板娘從一個四川妹子變成一個湖南妹子，那么這個餐廳的風味就有可能從一個川菜館變成湘菜館。從這個角度講，他們的經營數據就全部都改變了。
當我們回頭看，雖然是同一個老板同一個餐廳，但實際上其經營模式、客戶群體、菜單價等都改變了，在這樣的情況下，如果用對個人建立數據肖像的方法來對團體進行數據建模的話，就會有極大的差異。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
專題
