0
| 本文作者： 李梅 | 2022-07-04 17:48 | 專題：ICLR 2019 |
二本出身，讀了兩個碩士才在29歲開始讀博，39歲才結束博士后研究的付杰形容，他的20年就像個體與系統的博弈：
在一些機器學習的文章中，研究者會根據訓練初始階段 Training Curve（訓練曲線）的模式來判斷一個模型是否值得繼續投入資源訓練。
通常來說，一個機器學習模型在開始階段的損失下降明顯、精度上升明顯，最后的結果也往往是優異的；而如果初始階段的訓練損失下降地很緩慢，那么后期結果大概率也不會好轉。
當然，也有極少數的例外：一個模型在初始階段訓練不好，但在后期損失會上升，模型的精度也會不斷上升。但出于節約資源的考慮，研究者往往會選擇在初始階段就把表現不好的模型「殺死」，然后重新開始。
同樣的「大局思維」遷移到社會整體，體現便是：如果存在「上帝之眼」，TA 俯瞰整個社會系統中有潛力推動人工智能發展的種子選手，在可分配資源有限的情況下，類似付杰這樣的二本生，在高考結束的那一瞬間，就已經被系統提前淘汰了。
從大局出發，系統的確不應該給予付杰太多的資源去嘗試、去試錯，因為他在最后大概率也會失敗。但是，正如付杰所說：「從個人的角度，我有必須不斷嘗試的動力：因為那是我的人生。」
雖有點動漫里中二角色臺詞的味道，倒也很符合他中二少年的氣質。
所以，即使路遙多阻，他也要在每次受挫后不斷地將自己「重新啟動」，去考研，去讀博，去爭取每一個能讓自己變強的機會。在社會的運轉中，「系統」與個人無時無刻不在爭奪有限的資源。
「很多時候我都是站在一個被淘汰者的角度看著臺上的表演。因為我一直失敗，也一直在臺下，所以我很清醒。」付杰說道。作為被系統淘汰的人，他深知，要想繼續向前，只能靠自己的努力，外加因人而異的“適量”運氣成分，將模型啟動：
「不一定會成功，但堅持是必要的。慢慢來，比較快。」
1 小朋友的科學家夢想
每個小朋友都有夢想，付杰也不例外。
只是，與其他或迫于類政治正確、從而寫下自己夢想當培育心靈的「園丁」（教師）或懸壺濟世的醫生的小朋友不同，當付杰說出“我想當一名科學家”時，他是發自內心這樣想的。
故事要從他在幼兒園時說起。
有一天，天真無邪、心靈純潔、放學回家只知道看電視的付杰守在電視機前，無意中看到本地的科教頻道正在播放一個有趣的節目。節目里，一個生物學家正在自動化裝置的幫助下篩選各種藥物，付杰的眼球被吸引住了！
那時候，他對世界的認知剛剛萌芽，剛開始從大人那得知人人都會衰老與死亡這一令他恐懼不已的事實，天天幻想著要像《西游記》里的孫悟空等神仙一樣長生不老，煉成仙丹，消滅衰老與死亡，所以他很關注醫藥研究。得知國外已有先進技術幫忙篩選藥物，他十分開心。
但同時，幼小的付杰也對眼前的裝置有自己的思考。雖然可以自動篩選，但做生物實驗的速度卻非常慢——在我有生之年，科學家究竟來不來得及煉成不老仙丹呀？焦急的付杰捶著小拳頭、跺著腳，轉眼就開始思考：我是不是應該想想辦法，加速科學家的實驗速度？
對于七歲的付杰小朋友來說，若人類社會免除衰老與死亡、地球豈不超負荷這樣的問題，是不在他的考慮范圍之內的。他只覺得世界那樣美好，生命那樣寶貴，科學研究的目標里一定少不了一個出發點，就是幫助人類減少病痛、延年益壽。
所以，從幼時開始，付杰就開始幻想著成為一名這樣的科學家：運用像篩選藥物這樣的自動化裝置等先進技術，幫助生物醫學的發展，也就是他在動畫片里看到過的“人工智能”（Artificial Intelligence）。沒錯，付杰在世紀未開始之前就對 AI 有了認知。
「如果我沒有『精神被過度刺激』從而大量篡改自己記憶的話，這個故事應該是非常貼近事實的。」付杰告訴AI科技評論。
夢想成為一名科學家的種子很早就埋在付杰的心中。加上他的父親當時在武漢當地的一所研究院工作，是一位從事與計算機相關工作的高級工程師，所以付杰從五六歲開始就接觸電腦，用電腦來玩游戲學習計算機知識。在父親的影響下，付杰知道計算機將是二十一世紀初最先進的技術，所以早早就立定心意，要學習計算機，尤其是AI。
「高考之后，報志愿的時候我就一定要選計算機專業，我一定要學AI。哪怕我去了二本，我也要學計算機。」順便提一下，他的QQ名從一開始就叫“AI”。
付杰是土生土長的武漢人。高中時，他就拼命學習，挑燈夜戰，揮灑汗水，希望考上武漢排名最靠前的兩所學校！
嗯…故事寫到這里，忘了說一下：沒錯，付杰是一個從小志存高遠的有志青年，也有著高風亮節的社會責任心，但他并非名列前茅、眾星捧月的學霸。最終，因為高考分數不夠理想（他再三強調不是高考失誤，而是自身實力實在羞于示人），他只考上了武漢的一所二本大學。
但這卑微的起點并沒有打擊付杰追逐幼時夢想的信心！二話不說，他果斷在志愿填寫中瀟灑地寫下了計算機專業，心里寬慰自己：沒事沒事，高考失敗是小事、是小事，丑小鴨能變天鵝、野雞窩里也能飛出鳳凰。
最后，付杰幸運被計算機系錄取，樂觀的他昂首挺胸就要邁上人生的新道路，朝著他心中的夢想靠近。他沒想到的是，接下來的路會這么艱難。
2 二本差生
二本，也許是付杰手里的第一張爛牌。
剛進入大學的付杰，還是一個充滿抱負的上進學生，對自己的未來充滿激情與信心。他甚至在一開學就跑去教務處問本科能不能三年畢業、提前畢業有什么要求，還計劃以后要考研去武漢當地的985名校繼續深造。
當年的計算機本科專業主要修讀C語言、數據庫等課程，但付杰記得，本科那會他就選過一門人工智能的課程，雖然課上所教授的內容與今天的 AI 完全不同。那時的人工智能依賴的更多是專家系統，「人工」的成分更多。付杰認為，這根本不是自己所想象的人工智能，他期待自己能在將來參與到更先進的人工智能研究中去。
然而，很快，付杰手里的牌就變成了「二本差生」。成績一般、學習沒有效果……整個學習過程非常艱難。
「學習方法和態度都不對」——付杰在采訪中多次這樣反思自己的過去。他坦言自己有些眼高手低，比如，明明本科階段的內容就是學好課本上已有的知識、鞏固好基礎知識就行，但他卻因為覺得“沒用”、逃避做練習題（因為想逃避練習帶來的短暫痛苦），導致對計算機知識的掌握程度不夠深，后來大四考研時成績一敗涂地。
另外，在二本院校，學習資源和學習氛圍整體上都是不盡如人意的。付杰的耳邊總是充斥著「60分萬歲」這樣的論調，他似乎也找不到人去討論問題和交換信息。
在這樣的氛圍中，付杰一開始的躊躇滿志隨著日子的一天天流逝，逐漸被消磨殆盡。
而讓付杰在本科徹底滑向谷底的，是初戀女友與他的分手。
他在高中時暗戀過一個女生，高考后女生考上了985大學。大學那會，付杰通過當時的搜狐校友錄找到女生，花了很多時間、一門心思地去追她，但他們只在一起不到半年就分手了。他猶記得，那是一個寒冷的冬日，臨近春節，他們在學校附近的麥當勞見面。女生坐在他的對面，向他提分手。仿佛臨頭被潑了一盆冷水的他詢問原因，女生對他說出的最后一句話是：「你不夠強」。
這四個字猶如縈繞不斷的畫外之音，給了當時在學業上已頹廢至谷底的付杰重重一擊，先是當頭一棒，后是不斷回響的痛苦。「你不夠強」——這句話使付杰對自己的價值產生了深深的懷疑，更讓從小到大天不怕、地不怕的他產生了自卑心理。
但苦悶的他又一時找不到出路，更沒有信心重拾自己，也深知自己無法在短時間內達到與女生相匹配的高度，所以他只想躲避現實，沉迷在虛擬游戲中，學業也更加荒廢。
「我很在乎她對我的看法。我真的那么沒有價值嗎？其實我現在回頭看，我當時的確沒什么價值，就很爛。」付杰這樣回憶道。
3 「我好像不是個廢物」
2005年，付杰本科畢業。
那時剛踏入社會的付杰是一個什么樣的狀態呢？
他給出的描述是：幼稚，沒有能力，什么都不行，無助，迷茫。
面對人才市場上黑壓壓的人群，付杰感到無所適從，簡歷也沒敢投就回家了。后來在家人的幫助下勉強找到一份國企的工作，錢少，穩定，一眼就能看到頭。即使付杰認為自己那時候沒什么大本事，但日復一日地做網線、搬東西之類的打雜工作，仍然讓他覺得有些不甘心，而且他從心底里對這種「穩定」感到害怕。九十年代的下崗潮，曾讓付杰目睹了周圍親戚原本滋潤的生活急轉直下，看起來再穩定的系統也有崩潰的可能。
環境對人的意志的消磨無形但深刻，就好像《肖申克的救贖》里被體制化的（institutionalized）的老人Brooks。彼時的付杰甚至沒有了想要「打破」的欲望。當一個人不甘于現狀，卻又疲于改變也無力改變的時候，或許只能選擇逃避。那一年，魔獸世界上線，付杰就鉆到了魔獸世界中，沉迷在虛擬游戲中。
在魔獸世界里，很多個玩家組成團隊一起協作，這讓付杰獲得了一種被需要的感覺——原來自己是能做出點貢獻的。
而在游戲中遇到的人，更是給他帶來了人生軌跡的重要轉變。
也許很多人都曾聽說過那個廣為流傳的「曲別針換別墅」的故事：一個外國青年用一枚曲別針跟別人換到一支鋼筆，再用筆換到了小件藝術品、烤爐、汽車等等。最終他沒花一分錢，換到了一套雙層別墅。簡而言之，就是通過人際網絡關系將小資源置換成大資源。
付杰把他在游戲里的故事與這種過程相類比，只是更多了一些機緣巧合。
某一天，在魔獸世界里，付杰看到一個「獵人」新手玩家在「主城」里問哪里可以買到「弓箭」。付杰是個很熱心的人，于是他主動帶這個人去買了裝備，對方也覺得他人很好，兩人就熟絡起來。之后他們商量兩人共同玩一個賬號，這樣一來，付杰就擁有了一個「獵人」賬號，他們也都可以省點精力，也不必再參與團隊里的搶裝備沖突，可以經常下副本劃水、與人聊天。
陰差陽錯地，作為「獵人」的付杰又在魔獸世界里認識了另一位「獵人」新手玩家。這位新手玩家因為沒錢充卡，所以偶爾需要賣金幣換點卡。付杰見其「可憐」，就在游戲里很讓著他。一來二回，兩人逐漸成為網絡上的朋友，聊得十分投機。剛好那時兩人又都在感情上遭遇了相似的挫折，就常常聚在一起討論怎么追回心儀的女生。
后來，付杰發現，他在網絡上認識的這位朋友根本不是窮人！如果付杰是一個女生，這大概率會是一個白富美偶遇高富帥的離奇故事……當然，沒有如果。事實是，這位網友來自一個富裕的家庭。他的家庭因為敢闖敢拼，白手起家，很早就達到了家庭資產A9。當時他剛到加拿大念本科，還沒開銀行卡，所以只能靠賣金幣換點卡。
付杰每每談起這位朋友，都要感嘆：如果不是在游戲里，我跟他在現實生活中完全不可能有交集。這位朋友無論是見識還是財富上，都遠遠超出了當時身處武漢的付杰在二十多年人生里所積累的所有認知。他回憶，與這個朋友的認識，直接改變了他原有的人生軌跡。
「你想，他那么有錢，跟我們普通人家看世界的觀點、看法肯定是不一樣的對吧。倒不是說他讓我發財，而是他讓我看到了不一樣的世界觀，而這種世界觀徹底改變了我做選擇的態度。」付杰對AI科技評論說道。
由于他們的家底完全是靠自己闖出來的，在那樣一種崇尚開拓和挑戰的家庭氛圍中浸淫數年，這位好朋友對于「成功」的定義給當時在國企「混日子」的付杰帶來了沖擊。他經常對付杰說：「哪怕你沒有十足的把握，你也一定要去嘗試，你不去嘗試怎么知道自己行不行？」
嘗試的機會很快來了。
07年左右，大環境經濟出現波動，這位好朋友的公司也在考慮改變一直以來「粗放增長」的模式，決定使用ERP系統（Enterprise Resource Planning，企業資源規劃系統）。這位好朋友聽聞付杰學計算機出身，便邀請他去考察一下國內做ERP的公司，并以一種非官方代表的身份去簽單。
付杰認真地完成了朋友拜托他幫的小忙，最后完成一份報告，得到了這位好朋友及其父親的肯定。這對付杰的鼓勵很大，他開始覺得自己「好像不是個徹底的廢物」了。
那年暑假，朋友回國，飛到武漢與付杰見了一面，帶他飛。在一番大手筆的吃喝玩樂之中，付杰深感震撼，時時感嘆有錢人的生活實在是他難以想象的。
后來，付杰提出想跟這位朋友做生意。他計劃先賺上足夠多的錢，然后自己設立一個研究院去做學術研究。這個想法在今天的付杰看來當然是很幼稚的，但「幼稚」或許是另一種「信念感」的體現，正如他一路走來做過的許多「幼稚」選擇一樣。
那段時間，付杰請了一周的假，每天晚上跟著朋友去應酬，在金錢帶來的快樂體驗之外，他慢慢發覺有些不對勁：「我發現做生意搞應酬很麻煩的。他還教我抽煙喝酒，我就覺得不舒服，感覺我不適合成天應酬，覺得不開心。」
最后，他跟好朋友說自己不適合做生意，想要重新回到校園中，將來去讀個博士。朋友的態度無比支持，跟他說：「你盡管去試，哥們支持你」。受到朋友的鼓勵，付杰就真的去參加了國內的研究生考試。
4 趕上深度學習的早班車
走到人生的25歲，付杰開始讀他的第一個碩士。
當時付杰還沒有出國留學的想法，考研的原因一是父母的期望，二是有了碩士學歷可以評高級職稱來提高工作待遇。同時，他還對做學術研究懷有著信念，因此讀研時也報考了計算機專業。
2008年的考研人數與往年比有所下降，研究所的競爭也沒有普通高校那么激烈，再加上這次付出了足夠的努力，付杰最后上了岸。
由于自己的基礎太差，在很長一段時間里，付杰每天斷網看書，花了大把時間去補回本科時欠下的「學術債」。
讀研的第二年，付杰的又一次「命中注定」的機遇到來。某天，正在逛校內網的付杰被眼前的一條帖子吸引住了：
「你們知道有個東西叫做深度學習嗎？」
這是2010年。付杰第一次聽說深度學習的概念。彼時，深度學習還尚未成為人工智能研究的主流技術，兩年以后，深度神經網絡AlexNet在ImageNet挑戰賽上一舉成名，才宣告了新一輪人工智能浪潮的開始。
但正是在校內網上這不經意的一瞥，改變了付杰以后的學術人生。讀研期間，他真的開始了科研的摸索。雖然沒有深入探討，但他很早就形成了對深度學習、神經網絡的認知。
讀研期間，付杰產生了繼續讀博深造的想法，并且堅定地想要出國。
曾經的那句「你不夠強」，在幾年之后仍然如一道陰影籠罩在付杰心頭。他不斷地想：「如果變強會怎么樣？」
研二的時候，付杰開始備考英語，嘗試申請國外的博士項目。當時出國留學的人并不多，付杰能獲得的資源也有限，他在寄托論壇上搜索留學申請的相關信息，二本背景的申請案例寥寥無幾，付杰決定先考出托福和GRE分數再說。同時，付杰有一個在澳大利亞讀碩士的高中同學，他愿意幫付杰聯系學校里的一個教授，所以學校方面算是暫時有一個奔頭。
然而，這次申請并不順利，所有學校都拒絕了付杰。一位教授的回復郵件中甚至只有一句話：“The chance of accepting you as our student is zero.”（你被我們錄取為學生的幾率是零。）付杰打開郵件的那一刻直接破防，哭了很久。當時，他暗暗對自己說，如果有一天自己成了教授，一定要給予任何申請者足夠的尊重。
這或許與付杰的學歷背景有關。他所就讀的研究所類似于公司里的下屬研究機構，畢竟不同于普通的大學，不太被國外大學所認可。即使付杰表明愿意自費讀博，也都沒有得到回應。
沒有辦法，付杰只得重新再讀一個碩士。
這個選擇當時并不被父母看好，畢竟是條少有人會走的路，付杰自己心里也很沒底，但他心意已定。最終付杰申請到了新西蘭奧塔哥大學（University of Otago）的一年制碩士。那位澳大利亞的朋友也幫他聯系到一個學校，并且拿到了錄取Offer，但奧塔哥大學的排名更高，而且能為他提供一年10萬人民幣的獎學金，所以付杰就選擇去新西蘭讀計算機。這筆獎金，是28歲的付杰所拿到的人生第一筆獎學金。
2011年7月，付杰第一次出國，飛往南太平洋。
由于已在國內讀過碩士，付杰的導師 Brendan McCane 教授，給他免去了課程的學習，只需要寫出畢業論文即可獲得碩士學位。
圖注：Brendan McCane教授，付杰在奧塔哥大學的碩士導師
在申請碩士項目時，付杰的研究計劃是聚焦在深度學習上。在選擇碩士論文的題目時，他選擇了將深度學習與圖像結合起來。
當時，他參與了導師組里的一個項目：對無人機航拍圖像進行特征匹配（feature matching）。他們在用無人機在新西蘭上空拍攝了許多森林的圖片，希望設計算法將這些不同區域、不同高度的圖片整合成一張完整的大的圖片。圖像的特征匹配是圖像融合的預處理，匹配做得越精確，融合效果也就越好。由于拍攝時間和拍攝視角的不同，采集到的圖像存在差異，因此需要做特征匹配。
對于這樣的任務實現，付杰想：能不能利用深度學習自動去設計算法，而不是去人工設計算法？
他決定去嘗試實現這個想法，但在當時，深度學習在計算機社區的接受度并不高，也沒有太多可以交流的人，他幾乎是自己悶著頭做。最后文章投出，果然被拒，不過他的碩士導師還是給予了這個工作高度的肯定。最終，付杰的一年碩士以Distinction（優秀）的學位等級成績和收到新加坡國立大學的讀博offer圓滿結束。（公眾號：雷峰網(公眾號：雷峰網)）
5 元學習：一直失敗，從未放棄
「首先，你們給的獎學金挺多的；第二，我想來這里見見我的前女友。」
在被面試官問到為什么選擇新加坡國立大學時，29歲的付杰給出了這樣的坦誠回答。
那時，九把刀的《那些年我們一起追過的女孩》正火，付杰被電影情節深深打動。當時，他得知初戀女友在新加坡，在收到新加坡國立大學的offer后常幻想這樣的局面：「去到女生的婚禮現場，當神父問現場有沒有人反對時，我一定要喊出『我反對』。」
不過，在他去到新加坡后，他從其他朋友處偶然得知，女生已嫁為人婦。
那時已時隔多年，付杰在少年時代的遺憾也早已淡然。盡管有這樣幼稚的想象，但他再沒打擾過故人。
他沒有忘記想要讀博做研究的初衷，就是用人工智能來減少人類病痛。但讓付杰感到意外的是，在讀博的這五年，他的科研路上還是有著太多的失敗與阻礙。
2012年博士入學后，付杰輾轉換了好幾位導師。
他的博士項目原屬于“Graduate School for Integrative Sciences and Engineering”（集成科學與工程研究院），鼓勵交叉學科研究，可以同時選擇任何院系的多位教授作為導師。最開始他選擇的幾位導師都是做腦科學的，因為他當年認為深度學習應該更多地從腦科學里借鑒，同時有一些項目是研究如何在早期識別老年癡呆。可惜他和導師意見不合：有的導師只對腦科學感興趣，有的導師要求他學會自己去做生物實驗（比如去學會養大鼠），而他希望把腦科學和深度學習結合，同時更偏向于深度學習研究。
最后，付杰找到了蔡達成教授（Tat-Seng Chua）作為博士導師，先集中研究深度學習。蔡達成本人在多媒體搜索研究領域享有盛名，雖然當時還沒有涉足深度學習，好在蔡達成允許他自由探索深度學習。
圖注：新加坡國立大學蔡達成教授
但研究著研究著，他又慢慢對元學習產生了興趣。
元學習是一種讓機器「學會學習」（Leraning-to-learn）的通用性算法，目標是讓機器具備類似人類解決問題的能力，從數據中學習并能將模型很好地泛化到差別較大的任務中。元學習的概念可以追溯到上世紀八十年代，LSTM之父Jürgen Schmidhuber在他的博士論文中提出self-referential learning模式，通過遺傳演化算法實現模型的自我學習和進化。但直到最近幾年，元學習才真正引起人們的廣泛關注，比如Chelsea Finn、Pieter Abbeel和Sergey Levine在2017年提出的元學習算法MAML（Model-Agnostic Meta-Learning）。
盡管有一腔熱血，但現實卻是困難重重。與蔡達成帶的其他學生相比，付杰的進度遠遠落后。其他學生的研究方向與實驗室主方向一致，科研做得也比較順利。而在當時元學習還未完全發展成熟的情況下，付杰幾乎就是孤身一人，且彼時的他也沒有學會積極需求與人合作交流。付杰回憶，當時實驗室里的人都覺得他有些太「孤傲」了。壓力、焦慮、失敗，充斥了他讀博的前三年經歷，他甚至一度想要退學、重新申請一個博士。
但無論有多少沮喪，他都沒有想過換一個研究方向，他對元學習這條路的選擇非常堅定：「我就要做元學習，我覺得這個東西對整個深度學習領域是會有影響的。」
在后來與AI科技評論的交談中，他總結，自己當時的確忽視了做研究所必需的一些外部條件，對自己所做工作的可行性也沒有全面的考慮。
當時，付杰甚至沒有服務器可用，只好去「賣身」，找到一家正在招實習生的電信公司，跟對方一番「畫大餅」，說服他們為自己提供研究資金和服務器，而他去實習可以幫他們做網絡安全方面的東西。
就這樣，付杰在多重阻礙中艱難行進，最后勉強做出了一點成果，比如“DrMAD: Distilling Reverse-Mode Automatic Differentiation for Optimizing Hyperparameters of Deep Neural Networks”這篇論文，被IJCAI 2016錄取。
論文地址：https://arxiv.org/pdf/1601.00917.pdf
深度神經網絡的性能對其參數的設置非常敏感，當時的深度學習也主要是依靠調參來獲得性能提升，付杰設想利用元學習對參數進行自動地調優。這項工作針對深度神經網絡中連續參數的優化問題，提出了一種高存儲效率的超參數優化方法——蒸餾逆模式自動微分法（DrMAD），大大縮短了超參數的優化時間，是第一個實現對數千個深度神經網絡超參數進行自動調優的研究。
但與很多學術牛人耀眼的學術履歷相比，付杰讀博的這五年可以說是平庸，別人是做一樣成功一樣，而付杰卻「做了好幾次都做不好」。大多數時候，他都處于懵懂的探索當中，不知怎么做才是正確的，只是硬著頭皮去做。
他回頭反思那時的自己：一方面是因為自己的學習方法存在問題，很少和別人交流合作，因此比別人徘徊在門外的時間要久很多；另一方面，是因為自己從一開始就選擇了一條更難的道路。如今的付杰承認，自己當初選錯了方向，但錯的不是元學習本身，而是主觀愿望與外界條件的不匹配。
「你想研究一個重要的問題，這沒有錯，但是你得想象一下你自己的知識儲備，你的強項在什么地方，看一看當前這個社會能給你提供的理論工具、硬件工具有哪些，你再看是不是自己稍微夠一夠就能解決一個大問題的其中一個重要的小問題，而且可以沿著這個繼續往下做直至解決大問題，而不是死了命一定要把這個問題在當前這個時間節點給解決掉。時機沒有成熟，不是你一個人努力可以做到的。有點類似2021年ACM Communications上的The Hardware Lottery里的觀點，有一些研究方案可能并不是因為它們全面優于另外的競爭方案，而可能是因為它們與當時的軟硬件環境更加適配。」可惜當時的付杰并沒有意識到這一點，浪費了許多時間。
然而，如果要問任何一個望從事AI研究的低年級學生能從付杰的這五年中學到些什么的話，那便是他從未想過放棄。最困難的時候，他想的也是再去讀一個博士。在群星閃耀的 AI 領域，像付杰這樣的故事很少被看見，可能是因為個體在與社會博弈的過程中暫時認輸而中途離場。
6 回到最初的夢想
2017年，博士畢業的付杰原本打算直接找一份工作。他當時投了國內多家公司的 AI lab，但沒有得到任何回應。他自覺還是因為自己能力不夠，所以決定申請加拿大MILA（Montreal Institute for Learning Algorithms）實驗室的博士后。
「2017年初的時候，申請 MILA 博士后的人還沒有特別多。我的運氣很好：如果再晚一點，我應該是申請不到的。」付杰說道。
該實驗室由2018年圖靈獎得主、深度學習三巨頭之一Yoshua Bengio 教授設立和領導，在語言建模、機器翻譯、對象識別和生產模型等領域享譽國際。付杰師從實驗室的Christopher Pal教授（他的博士導師Brendan Frey師從Geoffrey Hinton，后來創立了Deep Genomics公司），做了三年多的博士后研究，主要方向是自然語言處理。
圖注：MILA實驗室Christopher Pal教授
在博后期間，付杰一開始還是想繼續做元學習的研究。但是，他又失敗了一次。2017年，他沒有出新成果。到了2018年，付杰覺得自己一定要發表出文章來，畢竟還要靠成果「吃飯」，于是開始轉向自然語言處理方向。
同時轉變的，還有付杰對待科研的態度：
「做研究應該是應該是慢慢地、一點一點地往前面走，而不是一定要做一個特別大的一個項目，那樣一旦失敗的話，壓力會很大，而且其實也就證明那個方式是不對的。」這時的付杰在做學術研究方面的確「長大」了許多。
而且，付杰開始更多地和人展開交流與合作。MILA實驗室也非常鼓勵合作，大家在辦公室的座位都可以自由選擇以方便科研交流。付杰的狀態一路向好，終于在2019年開始迎來科研的曙光。
他在NLP領域順利地做出了一些成果，如在2019年被ACL錄取的論文中（“Interactive Machine Comprehension with Information Seeking Agents”），付杰與合作者將機器閱讀理解模型的數據集重構為交互的、部分可觀察的環境，來將其更好地擴展到Web級別的信息檢索和問答場景中。付杰與合作者的另一篇被ACL 2020接收的論文（“Rikinet: Reading Wikipedia Pages for Natural Question Answering”），旨在解決通過閱讀長文檔來回答開放性問題的難題，團隊提出RikiNet模型，它可以讀取維基百科頁面來回答問題，并取得了很好的測試結果。付杰還有一篇合作論文被ICLR 2021接收（“CoCon: A Self-Supervised Approach for Controlled Text Generation”），介紹了一種語言模型生成文本內容控制器CoCon，能夠在細粒度級別上用目標內容控制語言模型所輸出文本的高級屬性（如情感和主題）。
相關論文地址：
https://arxiv.org/pdf/1908.10449.pdfhttps://arxiv.org/pdf/2004.14560.pdf
https://arxiv.org/pdf/2006.03535.pdf
2021年，付杰迎來了「高光時刻」——他和其他合作者投稿的一篇關于超復雜乘法模型的論文，從860篇論文中脫穎而出，獲得了ICLR 2021杰出論文獎。
為了解決超復雜空間的有限預定義維度所帶來的超復雜乘法模型的靈活性限制，他們提出一種對超參數乘法進行參數化的方法，使得模型能夠從數據中學習乘法規則，而無需考慮其是否被預先定義。該方法不僅包含漢密爾頓積，而且還能在任意維度的超復雜空間上運行。
論文地址：https://arxiv.org/pdf/2102.08597.pdf
自2021年1月起，付杰開始師從Yoshua Bengio教授繼續博士后研究。
圖注：2018年圖靈獎得主Yoshua Bengio教授
付杰與Bengio的合作集中在人工智能輔助藥物發現領域。Bengio在近幾年開始關注用深度學習解決藥物發現問題，比如發現對癌細胞系具有活性的高度協同藥物組合，蛋白質和DNA序列等從頭分子的設計（de novo molecular design）等。
從2021年年初直至最近，Bengio的研究精力一半都放在了制藥上。這里還有個小插曲：付杰2019年就聯系Bengio希望跟他從事博士后研究，但是被拒絕了。1年之后，付杰認真修改了博士后研究計劃，這一次Bengio終于同意了。而且他的第一位博士后導師Chris Pal還積極聯系Bengio，為付杰寫推薦信，同時在Bengio拒絕之后依然為付杰提供了后續的博士后經費。
在選擇導師這件事情上，付杰認為自己是非常幸運的。他的每一位導師對待學生都非常用心，認真為學生著想：「我也一直努力要把這種跟學生相處的模式傳承下去。」
目前，付杰已經發表了兩篇藥物發現相關的論文，具體旨在解決生物序列設計的問題。在“Biological Sequence Design with GFlowNets”這篇論文中，付杰與合作者拓展了Bengio及其團隊在2021年提出的GFlowNets算法，作為設計從頭生物序列（de novo biological sequences）的不同候選解決方案的生成器，并提出一種方案合并現有的候選標記數據集，以加快GFlowNets的學習速度。與現有方法相比，他們的方法能夠產生更多樣化和高得分的候選批次。這篇論文被ICML 2022接收。
論文地址：https://arxiv.org/pdf/2203.04115.pdf
付杰與其他合作者的另一篇論文“Unifying Likelihood-free Inference with Black-box Sequence Design and Beyond”被ICLR 2022接收。這項工作構建了一個概率框架，將無似然推理（Likelihood-free Inference）和黑盒序列設計（Black-box Sequence Design）進行統一，并提出在該框架下構建各種序列設計方法的方案，從而對以往的藥物發現方法實現了改進。
論文地址：https://arxiv.org/pdf/2110.03372.pdf
兜兜轉轉，付杰終于回到了自己最初的夢想：成為一名科學家，幫助人類減少病痛、延長壽命。這個兒時的夢想雖然過了很久才實現，但還不晚。
對于已經發表的成果，付杰非常謙虛地表示：「這兩篇文章其實距離真正的藥物發現還有很長的一段距離，這些機器學習算法僅僅是被用到了一個虛擬的環境。它生成的比較好，但是這跟現實的環境相差依然很大。」
無論是跟了Bengio，還是獲得杰出論文獎，或者是其他的名氣、榮譽，付杰都不將其歸因于自己的能力，他認為自己現在的能力還很弱。
現在，付杰已學成歸國，在北京市智源人工智能研究院擔任研究員，但他卻把自己定位成「一個比較好的學校的博士二年級學生」。直到現在，付杰也仍然感到自己并沒有摸索出怎樣才是一個好的研究者，他強調這不是在故意謙虛，但同時他也是樂觀的，因為自己還有很多成長的空間。未來，總會慢慢趕上的。
為了保持健康和良好的工作狀態，付杰已經徹底戒糖戒油炸高溫食品很多年了，甚至連米飯都戒掉了而只吃粗糧，每天堅持輕斷食，吃大量的蔬菜和植物蛋白，堅持適度鍛煉和冥想練習。
接下來，付杰還想做一件事，那就是將元學習與藥物發現結合起來，加速制藥過程。沒錯，自身經過無數「迭代」的付杰，如今對元學習再次充滿了信心：「雖然失敗了好幾次，但我還想再試一次」。
7 后記
付杰的故事寫到這里就暫時結束了，但付杰還在繼續書寫自己未來的人生。
精彩的故事可以是一種談資，一種成功者憑借「曲折離奇的身世」向大眾兜售自己的名片，但這樣的說法套在任何一個真正經歷過黑暗的人身上都是殘忍的。
如付杰所說：「如果我能跟別人一樣順利進入國內外一流大學，我當然愿意。我可做不到像漩渦鳴人那樣永遠樂觀。在遭受一連串挫折的時候，我當然也會陷入一段時期的低潮期，那種感覺并不好。我可能稍微在行的一點是可以比較快的恢復。」
讀故事的人，若能在這些回憶、剖白與反思中汲取一些力量，那便是故事的意義。
（公眾號：雷峰網）
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
專題
