5
【編者按】如果看過前FB工程師覃超的（《關于神秘的Growth Hacking，Facebook都做了什么？（中）》）的朋友應該對于里面Facebook首頁和人人網首頁改版的例子印象深刻。這里Facebook使用的一大法寶就是灰度發布和 A/B testing，讓Facebook的日活達到了10億用戶。本文作者Fan，在美國卡耐基梅隆大學完成博士階段學習，曾任職Facebook與Google Switzerland，專注于廣告與推薦排序的研發。2015年底加入美圖公司擔任數據總監。文章來自Fan的線下數據交流會的分享，介紹了美拍是如何做好數據驅動的。
大家好！很高興能有這個交流的機會。準備這次主題的時候，我想的是去了解大家對產品中的數據指標是否熟悉，以及在日常研發的過程中怎樣與數據打交道。所以我針對我們的主打產品美拍做了一個關于數據的簡短調研，今天也結合自己之前的工作經驗講講這個調研的過程、結果和體會，希望能對大家有所幫助。
“Data-informed and data-driven”這個題目來自選擇到Facebook工作之前交流時的一個問答。我的問題是 “有的公司是數據驅動的，有的公司是得益于創新的設計，那么對FB最重要的一個方面是什么？”回答的一部分談到了數據，因為印象比較深，所以就借用過來——“不同的領域對待數據的方式各異，比如廣告后臺的迭代改進更加需要數據驅動，而開發一個全新的產品可能更多需要對數據有所感知，即是在產品方面有要個做什么的想法時通過數據來佐知我們的觀點。
既然是要講產品研發中的數據，我也就通過收集一些數據來讓自己明了。
我關注的產品是美拍，因為它是我們最受歡迎的應用產品之一，不僅數據的種類豐富，總量也很大。除了用戶注冊、活躍、訪問數和一些簡單的交互，作為一個短視頻分享的服務，美拍特有的數據就包括用戶的上傳、播放、搜索，對一個視頻的點贊、評論、轉發，以及用戶和用戶的交互，包括評論的回復、關注、私信等。美拍的用戶可以分為明星、達人和眾多普通的用戶。用戶也會根據自己的興趣選擇不同的頻道。這里面有很多很豐富的數據，為了支持這些體驗，數據部門的職責之一，就是通過個性化的推薦讓用戶更容易看到自己喜歡的視頻和關注到感興趣的發布者。
美拍的數據從一些基本的數字看起，比如每日、每周、每月的活躍用戶數，每天的新增用戶數和留存比。留存的定義是，如果今天新增的用戶明天仍然用到了美拍，則計入今天的次日留存，類似的用戶在未來一周內至少有一天活躍則計入今天的周留存。另外的數字包括播放總數和播放時長等。統計的總數可以來自客戶端，或者包括客戶端、移動端與非移動端的網頁版的總數，來源是美圖的統計后臺以及第三方平臺。
在準備好這些數字之前，我想到可以在自己不知道標準答案的時候找負責美拍的技術、產品、運營的同學做一個相關的調研。于是就準備了單頁的問卷打印出來，到每人的工位旁打擾他們15分鐘來做訪談，最后一共有17位同學參與。
在談到調研結果前先談下過程中的體會。
首先是數據收集的過程中要考慮到可行性與代價。比如在調研中問一些很細節的或者目前后臺沒有加入統計的數據指標，可能不會有信息量。在研發中類似的情況比如說在設計推薦和排序用到的特征時，優先級不僅取決于該特征可能產生的效果，也依賴于產生特征需要的數據能否在保證性能的前提下獲得。
其次是關于測量方式，尤其是在有多個相關的指標時如何做選擇，比如這次調研中的一個問題是平均每日用戶對視頻點贊的總數，如果換一個方式，每天的活躍用戶的平均點贊數，由此推出的答案非?？赡軙c前一種問法有差異。類似的情況在技術實踐中也時常遇到，比如測試性能的時候就不僅僅需要了解一個請求延遲時長的平均數，相應的百分位數p50, p95, p99都是常見的指標。
最后有一句話是“Done is better than perfect”，也就是說在一次訪談還沒做之前去花時間糾結怎樣把問卷設計的更完美，不如在過程中迭代改進。事實上訪談問卷經過前幾次訪談后做了一次簡化，很大提升了后面完成的效率。
下面是經過可視化處理的數據，每一行對應一個數據指標，每一列對應一份問卷。上面的顏色用來指示答案的準確程度，越接近真實值顏色越深?？梢郧宄目闯鲇幸恍┲笜说念伾?，尤其是最下方的兩排，分別對應每周和每天的活躍高峰期。大多數同學對這兩個指標的了解都相當準確。
本段后的兩排單獨列出日、月活躍用戶數兩項指標。日活被了解的比月活更多。這可能是因為目前月活數通常是按照自然月統計，盡管它還可被定義為過去30天內的活躍用戶數。另外，美圖統計后臺和第三方平臺的計算方法也有所不同，在問卷中沒有明確數據源也造成了一定的誤差。
另外有意思的比較是上傳數和播放數的回答情況。作為短視頻的分享平臺，美拍的播放數和播放時長是比上傳數更有意義的指標——盡管它們都彼此相關——因此播放數被關注和了解的更多。如果美拍僅僅是一個視頻處理工具，那么上傳數就會是關鍵指標了。
下面就不再每項指標的去羅列，而是以調研中遇到的情形談談數據分析中的幾點體會。
首先是數據工作的前提是準確。
無論是用于報表分析、推薦算法或是這次分享，收集得到的數據指標應該與定義相一致。比如下面的曲線左邊是三個星期的注冊數，其中有一個是前后平均值兩倍的高峰，這個是真實的增長嗎？如果再看右手邊同時段內手機號的注冊數占總注冊數的比例就會發現有5倍的增長，這樣大的增幅相當可疑。真正的成因是某個舊版本被刷了注冊數，多出來許多虛假賬戶，當問題解決時指標水平又恢復正常。對這個具體的例子，可以根據平日手機號注冊所占的比例修正得到基本準確的注冊總數。其他情形如統計算法或數據源的bug就無法能通過簡單的數據清理而解決。
在迭代上線的時候，A/B測試實驗有時會看到意外的結果，可能是意外的好也可能是意外的壞，意外的壞常常在分析時比意外好的情形更得到重視。但從數據準確性的角度而言，意外的好與意外的壞是相同的情況，只有在確認數據正確解決了可能存在的問題之后，意外的好才會是真的提升。
同樣重要的一點是大家對于數據指標的理解是否一致。
舉個在之前的公司的例子，產品廣告質量中用到一個產品“參考價格”的概念。這個概念非常直觀，大家都喜歡用，可是在之后的溝通中的過程中會因為彼此的理解不同造成問題，比如它可以指產品價格的中位數，即于大多數商家選擇的價格接近，也可以指在有信譽商家所提供的最低價格。對于美拍而言， “有效播放”也是個模糊的概念，可能存在各自有價值的幾個相關的指標，比如播放長度是超過幾秒，或者是超過視頻長度的百分之多少，能盡早分別定義、命名清楚能夠避免后續的混淆。
數據還能夠幫助我們了解進展與建立優先級。
對一個快速發展的產品而言，可以優化的點很多，想法也就更多了，然而資源和時間是有限的。了解重要指標的數據分布可以是一個入手點，比如如果目標是增加美拍的總播放數，那么就可以先了解哪個頻道的播放數占的比例最高。除此之外，具體的比例數據的絕對大小也不應該忽略。之前工作中曾經做過一次實驗，希望上線的測試組比對照組的各項指標均沒有明顯變化，但轉化數有1%的統計顯著的增長。因為轉化數是產品廣告質量非常相關的一個指標，起初這個結果看著很不錯。因為轉化數的絕對值沒有在界面中顯示，等查到發現1%的增長只對應少幾百個時，就進一步調查得知這個轉化數指標的統計是依賴商家主動報上來的，很不完全，所以1%的增長對實際效果的影響并不能得出明確的結論。
另外一個體會是關于界面的。
用戶界面的改變可能對下游的數據產生極大的影響，而一個好的設計對主要指標的貢獻的程度會是后臺迭代中很難見到的。比如在用戶添加好友時取消確認框能夠把損耗率降低兩位數的百分點，而提升廣告CTR的有效途徑是設計吸引人的創意。與界面相關的特征也是機器學習模型的重要輸入，而當用戶界面有較大變更時，相應的A/B測試會需要獨立的模型，這不僅僅因為有這些特征的存在，也是因為組成其他特征的數據分布和目標函數的分布都會有顯著變化。
還有一句話是“If you can’t measure it, you can’t fix it”。
就是要求先發、及時的數據測量，如果問題無法測量，那也失去了解決的途徑。這次調研其實有一些重要的用戶體驗數據沒有包括在內，比如和用戶使用體驗很相關的平均視頻加載時間及其分布。還有一些分解的指標沒有加到現有的統計后臺中，后面會盡快補上。
大數據是現在常聽到的一個詞，甚至被用得有些過頭了。擁有海量、多樣的數據確實有很大潛在的價值，但要用好還是要定義、采集、存儲、清理等一個個環節入手，才能為之后的分析、推斷、預測提供可靠的基礎。
數據感知的前提是：數據是有的；數據是正確的；理解是相一致的；在哪兒是找得到的；怎樣變化是看得來的。而數據驅動則要求數據收集、處理和應用的整個過程都能夠及時（甚至實時）而有效，這需要數據相關的上下游團隊的共同努力。數據之所以有用是因為當產品夠大時就不存在一個典型用戶。A/B測試就是說明這點的很好的例子。每個人在做決定的時候會代入自己的判斷，而良好設計的實驗得到的客觀指標，能夠指引我們做出有依據的選擇。從另一個角度講，雖然數據是提升用戶體驗的一個指標，但總有它的局限性，例如依賴不完整的數據測量可能無法做出最優的選擇。而用戶的信任取得難失去易，從數據的角度而言就是要格外注意數據的隱私，這是非常重要的！
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
