0
最近的AI社區，關于模型規模的討論有些活躍。
一方面，此前在大模型開發奉為“圣經”的Scaling Law，似乎正在褪去光環。去年大家還在猜測GPT-5的規模“可能會大到想不到”，現在這種討論幾乎絕跡。大神Andrej Karpathy，則是在感慨大模型規模正在“倒退”。
另一方面，近期市場上性能優秀的小型模型層出不窮，參數規模、任務處理、反應速度、安全性能，各公司在不同方面卷了又卷。
究竟是往大做探索極限，還是往小做迎合市場？
這最終匯總成一個問題：在這樣模型快速更迭的市場中，要怎么才能把LLM模型的商業價值最大化？
最近發起討論的是X.ai創始成員之一的Toby Pohlen。他認為如果模型以指數級速度改進，那么訓練模型的價值也會以指數級速度折舊。這也導致人們需要趕在模型更迭前就迅速采取行動獲取商業價值，一旦模型產生更新，上一代模型就基本一文不值了。
Toby的這番言論深得老板Elon Musk之心，大筆一揮打了一個“100分”。
賈揚清也參與到了這場討論中來，他用感恩節火雞做了一個有趣的比喻。他提出，售賣模型就像是感恩節火雞促銷，必須在感恩節前夕抓緊時間售賣，避免在感恩節到來后的貶值。新模型的技術更新就是一個又一個感恩節，只有銷售得更快才能賺到更多的利潤。
（emmm...如果對火雞不好了解，換成中秋節前搶月餅的故事大家或許應該容易理解一些？）
評論區也有不少人表達了對此觀點的贊同。
有人說只要不斷地開發新產品和迭代新模型，就能從中持續獲得商業價值。
還有人說，模型改進的頻率將直接決定模型本身的商業價值。
但是，模型的商業價值由什么決定，又該如何實現？
模型發展在走CNN老路嗎？
模型必須做小，用起來才順手。
比起大型模型，小型模型成本低應用便利，更能收獲商業市場的青睞。賈揚清就發現，行業趨勢在于研發和使用尺寸更小性能強大的模型，人們也更愿意把規模參數在7B-70B之間的中小型模型作為商業使用的選擇。
作為前大模型時代的親歷者，賈揚清在當下LLM模型市場上嗅到了熟悉的味道，先變大再變小變高效，這和CNN時期的模型發展簡直一模一樣。
賈揚清還對CNN的發展歷程做了一個簡單的介紹。
首先是2012年，AlexNet開啟了模型大小增長的序幕。2014年的VGGNet就是一個規模較大的高性能模型。
到了2015年，模型尺寸開始縮小。GoogleNet 將模型大小從GB降至MB，縮小了100倍，還同時保持了良好的性能。同年面世的SqueezeNet也遵循了追求更小尺寸的趨勢。
在此之后，模型發展的重點轉移到了維持平衡。比如如 ResNet(2015)、ResNeXT(2016)等模型都保持了一個適中的規模，注重計算效率。
賈揚清還介紹了CNN的一個有趣的應用，Google的MobileNet（2017），占用空間小性能優越，還具有出色的特征嵌入泛化。
最后，賈揚清引用了Ghimire 等人在《高效卷積神經網絡和硬件加速調查》里的一張圖：
他還進一步發問，LLM模型未來會遵循和CNN一樣的發展趨勢嗎？
不過賈揚清也補充道，雖然行業趨勢是模型小型化，但并不意味著號召大家放棄尺寸更大的模型。
但這隨之而來的是另一個問題：大型模型的成本會更高。
此前也有人提出質疑，對大型模型服務商的運營成本和營運收益做了簡單的計算，每天8張H100顯卡運營節點的成本約為1000美元，每天可以提供2600萬token的服務，但按Llama 405B每一百萬token 3美元的價格，怎么算都是虧本的，無法盈利的大型模型不會被市場拋棄嗎？
賈揚清表示，哎你說這個我就不困了，我熟我來說：）
賈揚清認為，雖然每個請求大約每秒輸出30個token，但通過批量處理（同時處理多個請求）可以顯著提高總吞吐量，可以達到比單個請求高出10倍或更高的吞吐量。
同時他還指出，每秒大約30個token指的是輸出token，大模型對于輸入token的處理速度更快，這也增加了處理的總token數，大模型通常對輸入和輸出分別計費，也正是這個道理。
在后續的另一個回復，賈揚清做了更詳細的量化計算：
批量輸出速度：單并發405b推理通常有每秒30個token的輸出速度。合理的并發可以使總吞吐量提高10倍，達到每秒300個token的輸出吞吐量。
輸入token：輸入token也被計費，通常輸入token的數量遠大于輸出token。一個常見的聊天機器人應用可能有2048個輸入token和128個輸出token。假設輸入輸出token比率為10:1，那么每秒300個輸出token的處理量相當于每秒3000個輸入token。
價格：每天總共處理285,120,000個token，按當前Lepton價格每百萬token2.8美元計算，收入為798.34美元。
機器成本：以lambda按需價格為基準，每張H100卡每小時3.49美元，8張H100卡一天的成本為670.08美元。
收入798.34美元，成本670.08美元，因此通過整合多種技術方法，在合理流量下（像Lepton這樣的大模型技術服務商）是可能盈利的。
當然，這只是一個簡單的推算，實際的盈利還會受到流量穩定性、計費方式、按需使用GPU的機器成本控制、解碼、提示緩存以及其他因素的影響。
但某種程度上說，類似深度學習時代對CNN的不斷優化，在大模型時代，也需要技術人員對于模型進行種種優化，來保證性能提高的同時不斷降低成本，這正是賈揚清看好的創業路線。
我們不妨再多討論一下，對于賈揚清這樣的AI Infra創業者，模型大小的潮流變化對他的商業模式有什么影響？
這個問題，要分不同情況分析。
如果模型參數量越大，提供模型服務的門檻越高（參考Llama 405B），其客單價自然也就越大；
另一方面，由于很多小模型實際是在大模型的基礎上蒸餾而得到，模型小了，所需的計算資源并沒有等幅度減少；
由于較小的模型更容易部署在不同的設備和平臺上，這可能會帶來應用場景的增加，雖然客單價可能降低，但在需求數量上的增加反而可能使得總收入增加；
對于賈揚清來說，META的開源路線使得賈揚清的服務對象擴大，因此開源對他來說更有利。
看來不管未來模型規模怎么不變化，賈揚清都有機會憑借技術升級穩坐釣魚臺。這有點像之前的中國股市，不管什么消息，都是“利好茅臺”啊。
這恐怕就是賈揚清最近在推特上為什么這么活躍發表看法的原因？你看好賈揚清這種AI Infra的創業路線嗎？雷峰網雷峰網(公眾號：雷峰網)
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
