0
“真正的智駕大模型應該像條野狗，即它不能囿于家養的環境和數據，而是在真正意義上的開放域海量數據之上產生的。”
ChatGPT的爆發，讓大家看到了大模型的無限可能性。這個熱浪席卷到了各行各業，智能駕駛行業也不例外。
大模型就像是雷神之錘，如果沒有適合它的釘子，就難以發揮被期許的價值。而大模型能否和智能駕駛進行聯動，如果可以，它又能為智能駕駛給予多大的想象空間，這些依然是目前需要討論的問題。
這也有了清華大學鄧志東教授的這番有意思的比喻。
近期，由辰韜資本主辦、中信證券協辦的“未來以來 創見未見”第二屆智能駕駛商業化落地與產業發展趨勢主題研討會在北京舉行。
在“AI大模型如何賦能智能駕駛”主題論壇中，清華大學人工智能研究院視覺智能研究中心主任鄧志東教授、北京極佳視界科技有限公司CEO黃冠博士、北京愷望數據科技有限公司CEO于旭、蘇州智加科技有限公司首席科學家崔迪瀟博士參與了討論。
以下是圓桌對話的現場內容，雷峰網《新智駕》做了不改變原意的編輯和整理：
主持人：當下基本上所有的論壇都言必提大模型。大模型跟智能駕駛產業是否能結合、如何結合，是本場活動需重要討論的話題。首先有請各位嘉賓先講講自己對AI大模型的理解。
崔迪瀟：有大模型，相應的就有小模型、普通模型，那說明一定有一些問題是普通模型解決不了的，需要用大模型去解決。
我更多會站在應用的角度去看大模型，比如它是否能做一些普通模型做不了的事情，以及它是否能做得更好、更快、更便宜。如果要將大模型賦能到自動駕駛的研發中，核心要看的是在整個技術研發迭代過程中，大模型是否能讓自動駕駛研發效率提高，研發成本降低，還能讓性能持續穩步地提升。
黃冠：我們認為，自動駕駛大模型是必須的，在其中，通用性跟泛用性是關鍵，成熟的自動駕駛大模型一定要結合語言模型和多模態。而要具備通用性，需要結合一套自監督的范式去實現壓縮物理世界。
于旭：原來智能駕駛的數據行業，背后有很多的人工，而大模型出現之后，用AI去做AI，在這個方向上可以有更多的想象空間，比如怎么把大模型用到數據架控的產線上，包括怎么讓最后的大模型能有好的結果，我們看到很多新的機會。
鄧志東：大模型賦能自動駕駛，需要以人類的自然語言、人類的思維貫穿智能駕駛的感知、預測、規劃、決策、規控等整個鏈條和環節，同時還需要綜合運用多模態的視覺語義、常識以及專業知識，讓它有跨任務、跨領域、跨場景的泛化能力。它會帶來一場大的變化。
主持人：AI不能算是新事物，大模型也不是新事物，但AI、大模型跟智能駕駛結合在一起，它就變成了新鮮事物。它正在進行產業化，也正在進行新的探索，現在有一個問題需要搞清楚，什么是智駕大模型？大家對它的定義是什么？
崔迪瀟：在定義智駕大模型之前，需要先定義大模型。什么是大模型？怎么定義這個“大”？通常理解，“大”可能是模型參數量的“大”。但個人覺得，“大”背后反映的是它能做多少事情。
大模型需要有通用性，本質上要解決跨任務的通用性，意味著它需要能解決不同的任務，有跨知識領域的通用性。GPT里面就有通用性，能夠把所有不同的任務統一到自然語言處理的框架中。
此外，當模型的參數在達到一定的數量級之前，參數量和性能呈現線性相關性，這個階段參數量提升，性能就會線性提升。在參數量達到更大規模以后，系能會有一個非線性的提升，這種性能顯著提升之后，會有大家提到的涌現的現象出現。
這也是大模型受到關注的關鍵。
那智駕里面是否真正存在我們討論的所謂大模型？
一方面，我們現在看到的智駕大模型更多是汽車行業的垂直模型，它們分布在各個智駕技術棧，或者是特定場景的端到端；
另一方面，因為自動駕駛它是一個又像開源又像閉源的人工智能系統，我們既要強調泛化性，也要強調可控性，同時它的一致性也是要保證的。
但事實上系統泛化能力提升會帶來一些問題，比如它的某些涌現可能對智駕系統是不可控的、也是不可接受的。所以，我并不認為在智駕領域存在真正意義上的大模型，這是我個人的理解。
于旭：剛才崔總對大模型的分享非常精彩，結合這個點說一下我的理解。質量的涌現讓我們在自動駕駛可以用新的思考、新的方式帶來行業的規模化，包括這些新的體驗感。大模型是帶來了曙光，我們認為這個曙光可以分階段地進入到自動駕駛行業里，比如可能先從局部進入再逐步發展到全局，這是一個長線的過程。
黃冠：我們非常相信自動駕駛大模型。在我們看來，整個自動駕駛行業發展經歷了三個階段和變革。
第一階段是Waymo帶來的L4 Robotaxi進行了一套系統化運營；第二個階段是特斯拉那一套靠視覺和AI帶來行業成本的降低和泛化性的提升；而第三次則是這次大模型給行業帶來的想象，它會把這個行業的上限無限撐高，走向L4或者AGI，并且同時提升數據、研發、測試等各個層面的效率。
而自動駕駛大模型該如何解決，核心的問題還是通用性跟泛化性的問題該怎么解決？第一，需要把語言引進來，因為語言有很強的認知能力，比如我知道我開車我不能走懸崖。現在這一套自動駕駛方案既識別不了懸崖，也不知道能不能走懸崖，但是語言的大模型是知道不能走下懸崖的。
第二，需要針對物理世界場景，尤其是視覺場景需要有一套方式去進行自監督地壓縮。多模態則是認識各種懸崖的，它可以再跟自動駕駛結合起來，加強自駕大模型對世界的泛化認知和感知理解能力。
綜上，我們理解的自動駕駛大模型是，能夠解決通用性和泛化性，把視覺、語言和多模態引進來，通過物理世界的預測解決自監督的物理世界壓縮的問題。
鄧志東：什么是智駕大模型？首先要有人類的語言智能與人類思維貫穿；其次能綜合利用視覺與多模態的語義，同時還要有常識，還必須有駕駛的專業知識。
這其中比較關鍵的是視覺語義，尤其是對駕駛場景與目標、語義地圖、決策規劃進行時空關系的世界建模。常識的利用部分，可以直接使用文本大型語言模型，比如現成的ChatGPT，準確說是利用GPT-4的API，用這個API調用，可以把一般性的交通知識、交通法規，包括駕駛行為相關的一系列常識，都放進去。
但是光有常識還是不夠的，因為它可能沒有那么精細、專業，本身在預訓練時也沒有喂養更多的場景數據。我們還需要利用駕駛知識、駕駛技巧、駕駛經驗這類專業知識，這就需要發展智駕GPT之類的定制化垂域GPT。
這些我們現在正在探索著基于視覺和文本在做，但是因為文本是符號系統，所以我們需要把符號系統和真實物理世界的時空連續系統進行語義對接。對接起來之后視覺的所有語義都可以用ChatGPT的文本語言智能進行貫穿。
對接很重要，因為我們現在要做的就是視覺語義與文本語義的對接或對齊。對接可以通過自監督的方法，在潛空間里進行，現在看來是能夠成功的。
對接之后就聯系起來了，視覺的語義及其關系都用文本語言智能貫穿，就可以引入常識和專業知識，真正實現知識驅動。視覺語義與文本語義的對接或叫grounding，現在可以利用視覺-文本預訓練模型實現。總之，跨模態或者多模態的通用人工智能非常重要。
弱人工智能時代過去了，相信以后會發生很多變化。比如不需要再去為單一任務做大量標簽，因為弄完之后還解決不了問題，做到95%的準確率都難，增加一個訓練集之外的類別或換一個任務或場景，馬上就會出現問題。
利用完全監督學習的弱人工智能方法是不可取的，很難產業落地。以后也會出現專業分工或供應鏈，比如可以直接提供各種預訓練模型，包括圖像、視頻、點云的預訓練骨干模型，也有多模態或語言的，甚至將各種預訓練模型集成到專業硬件里面做到車載，用戶僅需用提示詞微調一下或直接作為功能模塊就可使用，達到比自己研發更好的性能。
這個階段我相信很快就會到來。
以后編程的方式也可能會發生變化，不用再去對場景的每個細節都去做算法編程，去查漏補缺但還是有邊緣事件沒有Cover到。以后就讓它自己在實踐交互中進行學習，因為它有視覺、懂語義，有常識，也有專業知識。
可以這么比喻，就像一個新手剛從駕校出來，也不需要再做文本方面的知識培訓了，所要做的事情就是實踐，多開車，多上路，實踐多了就變成老司機了。
主持人：如果這樣的話，是不是意味著在智駕大模型里面不需要標注了？
鄧志東：標簽要用工業化生產的方式，人工標注就是數據飛輪的一個啟動或需要人工去做其他的專業標注。不是現在家家需要標簽，小作坊式的，可能是做預訓練骨干模型的公司去提規模化標簽需求或做規模化生產，包括利用大模型這樣的東西，混合人工與機器，部分有問題的標簽還需要人工去審核清洗等。
黃冠：ChatGPT也需要標注。
鄧志東：另外，對通用人工智能，要用開放域數據。這個數據不需要你去專門采集做閉集標簽，互聯網上有很多駕駛視頻，利用眾包或通過其他供應商，也可以給你提供全世界各種各樣真實的視頻駕駛巨量數據，這個我們叫開放域數據。
它的類別不再是固定的數量，比如1000種物體類別；視覺-文本對也可能不規整，噪聲或污染也可能比較嚴重，也需要進行人工加機器的清洗、對齊等。
但可以做到萬億token以上的巨量，智駕大模型依然什么都可以檢測、分割與識別出來，而且還是零樣本使用或不需要用戶進行再訓練。現在各家車企做的大模型或小模型，可以看成是一只家養的狗，而真正的智駕大模型應該是野生的狗。
在我們的認知里，野狗總比家養的狗生存能力要強很多，因為它們生存在“野外”，接觸到的環境遠比家狗接觸到的要惡劣、復雜。
相應地，真正的智駕大模型，不應該是在閉域數據集里進行預訓練，而是在真正意義上的開放域海量數據里產生。
于旭：大模型需要有一個質量涌現的過程，這個背后需要巨大量產車在外面跑，現在這個時間階段上，大家都在量產上爭分奪秒。這里面看到了很多新機會，像在數據的加工生產上，標注作為一個剛需，以前是加工，現在是面對的場景有很多，包括像剛才鄧老師提到的開源，用大模型分割一切，這套做法我們剛好把它應用在了現在的主機廠服務里面，最后質量的把控還是要靠人來做。
主持人：請問一下極佳的黃總，做智駕大模型剛開始需要很多的數據，極佳如何解決數據冷啟動的問題？
黃冠：智駕大模型可能不是一個只靠駕駛數據訓出來的模型，那樣永遠沒有認知，沒有多模態能力。所以我們認為它冷啟動，確實要把語言模型和多模態模型引入進來，只有這樣，才能向著智駕大模型這樣一個方向走。
語言模型已經見過海量數據，有非常強的認知能力；而多模態的模型，也見過了大量的圖像視頻3D數據。
把語言模型、多模態模型引進之后的第二步，則是數據要在場景下去做適配、對齊，或者是通過自駕的數據自監督做自駕場景的壓縮。在這個場景下需要大量的數據，但是如何才能讓整個行業去共享乘用車數據，需要國家層面、行業層面以及企業層面都要多做一些合作和深入探討。
主持人：接下來有個問題問一下智加科技的崔總，您是做無人駕駛重卡場景的，關于量產車的數據采集，如何確保低成本高質量、并且符合法規要求的數據收集以及傳輸？
崔迪瀟：這可能跟大模型本身不太相關，這是在我們走向大規模量產或者走向更大海量數據過程中就需要解決的問題，低成本高質量必須同時滿足，因為高成本高質量、低成本低質量數據獲取是不需要努力的。
自動駕駛的數據獲取跟系統的架構有關系，下面討論的所有觀點不包括端到端自動駕駛，因為端到端自動駕駛的數據應該怎么獲取，我個人沒有非常一線的工作經歷，我很難妄下結論，怕被打臉。
針對現在模塊化的智駕系統，最好的方式把它的數據系統做得靈巧可伸縮，核心是所有的數據采集觸發的時間點和時長、采集的數據幀率和分辨率、數據維度和壓縮比、回傳策略等都是和特定的任務相關的，也就是被采集數據所在的具體模塊和數據采集要優化的目標。
我們有一套包含500多個標簽的場景分析體系，根據系統的表現決定回傳的采樣頻率。
為了降低回傳成本，數據壓縮也需要考慮，比如直接把圖像壓縮到70%，再解出來，能不能得到跟Raw Data一樣的效果，如果不能，再對應地調整。
在檢測端的數據是要回傳單幀還是多幀？時序任務，應該在當前時間點往前往后各回傳多少幀？如果是安全性相關的任務，那它在整個數據回傳的過程中優先級應該怎么設置？
相關問題我們在開發過程中都會結合場景和系統性能做很多定制化的設計。
設計過程確實比較繁瑣，但這些工作必須做。我們系統有在線實時的指標回傳功能，每隔幾分鐘到一個小時就能看到量產車上關鍵指標的變化，這些指標的變化也會再次影響線上系統的數據采集配置。
主持人：感謝大家，咱們現在聊聊趨勢。接下來請大家分別講講個人對于自駕大模型或者智能駕駛行業還有就包括機器人、具身智能這些新鮮事物未來發展的圖景。比如說未來三年大家可以感知到的AI大模型，智能駕駛的可能性等等，聊聊自己的判斷。
于旭：大模型讓我們看到算法的門檻變低了，這個時候就像過去的移動互聯網一樣，當時有很多的APP，現在在算法新的時代里面，又有非常多的AI應用。我們在創造更好的大模型，這個技術手段也希望能應用到更多的商業場景中，使得AI應用有不斷的提升。它給我們帶來了很多希望，我還是非常看好這一技術的。
黃冠：長話短說，我們非常看好這個趨勢，我們覺得大模型可能對從駕駛到具身智能到通用機器人，都會帶來很不一樣的東西，就會從數字世界的AGI走向物理世界的AGI。
崔迪瀟：當前自動駕駛行業，大模型已經在發揮一些作用，比如感知端、駕駛決策端，我們都看到了大量很好的技術演示和應用。至于規控端會不會做大模型，我個人持保留意見，因為目前在控制上，我們依然需要對車輛做精確建模。
雖然看到很多演進趨勢，令人振奮，但必須要提醒一個事實，即大模型依然沒有脫離深度學習框架，不可避免地會存在統計性和概率性問題，大規模應用中一定有它處理不了的場景。
對于所有做L4的同事和同行來說，必須要保持警醒，大模型可以加速L4到來，但它不能解決所有L4的問題。在L4的系統架構設計中，我們要在一個更強大的數據驅動的智駕大模型的基礎上，繼續堅持做安全冗余，因為L4是一個既要求泛化性，又要求可靠性和一致性的系統，這兩點不一定靠大模型就能解決掉。這是我的一個額外觀點。
主持人：教授做個總結。
鄧志東：未來自動駕駛的研發范式會發生很大的改變，主要有四個方面：
第一，從完全監督的學習方式變成零樣本學習，類似分割一切；
第二，從原來基于閉源的眾包數據集變成利用開放域的巨量數據；
第三，從原來的單任務變成多任務，最后變成一個與任務無關的通用模型，比如原來的視覺語義模型只能做分割，但不能做檢測、分類或者不能做跟蹤，后面就會變成所有都能做；
第四，會從原來的弱人工智能變成研發與使用通用人工智能，從對每個細節的算法編程，變成一個能夠主動融入真實物理世界、親自實踐、親自與物理環境進行交互學習的機器“人”。
雷峰網雷峰網(公眾號：雷峰網)
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
