0
| 本文作者： 郭瑞嬋 | 2024-07-16 17:47 |
7月15日，理想汽車正式向AD Max用戶全量推送無圖NOA，成為繼華為系之后第二家完成全量推送的車企。這次推送將覆蓋理想的5個車型、超過24萬用戶。
無圖NOA有了著落，給理想以及理想的用戶乃至投資者吃下了一顆定心丸。
在此前的智能駕駛發布會上，理想發布了正在研發中的端到端+VLM（視覺語言模型）+世界模型的第三代技術架構。
相比現有的端到端技術路線，理想的亮點在于提出了“雙系統”的理念，首次將VLM部署到Orin-X芯片，并選擇了更為激進的目標，即One Model端到端。
去年下半年，理想開始在團隊內部孵化并啟動預研端到端+VLM技術架構。理想智能駕駛副總裁朗咸朋表示，目前該技術架構已經完成模型的原型驗證和實車部署，“實際上車效果超過了我們的預期。”
不久前，CEO李想在重慶論壇上透露，理想的端到端+VLM技術架構最早會在今年年底，最晚明年年初推出。這是個頗為激進的提法。
發布會之后，雷峰網《新智駕》與一些智駕圈的從業者進行了交流，從他們的角度對理想的端到端+VLM技術架構進行評價。
自動駕駛端到端的熱潮由特斯拉掀起，FSD V12所表現的超高能力上限，讓國內的自動駕駛玩家看到了確定性，形成了新一輪的競爭中心。
在智駕自研上布局較晚的理想，也大力投入端到端。在無圖NOA的基礎上，理想正在部署第三代架構——基于One Model端到端模型、VLM和世界模型的全新自動駕駛技術架構。
理想的第三代架構參考了丹尼爾·卡尼曼的《思考，快與慢》，也分成了系統1和系統2來模擬人類的駕駛行為，兩個一快一慢的系統各占用一塊英偉達Orin-X芯片。
系統1，即快系統，由One Model端到端大模型構成——感知與規劃共同整合成一個大模型，輸入傳感器的信息后，直接就輸出行駛軌跡，完全由數據驅動，能夠應付95%的駕駛場景。
從目前業內披露的信息來看，理想系統1的One Model端到端架構相當激進。
以華為與小鵬為例，這兩家的端到端架構還主要劃分為兩大塊，分別是感知大模型與規控大模型，還不是理想宣稱的“一步到位”。
由于各家對于“端到端”的理解與定義不盡相同，不同玩家展出的“端到端”模型都有所區別。
根據辰韜資本發布的《端到端自動駕駛行業研究報告》，端到端的核心定義是感知信息無損耗傳遞，可以實現自動駕駛系統的全局優化。
從傳統自動駕駛模型向端到端演進，將經歷四個階段：感知“端到端”、決策規劃模型化、模塊化端到端、 以及One Model端到端。
目前，業內大多數玩家通過“BEV+transformer”架構已經完成了感知“端到端”，正在努力實現決策規劃模型化。
在決策規劃模型化階段，基于感知“端到端”，從預測到決策到規劃的功能模塊被集成到同一個神經網絡當中，用深度學習取代了Rule-based，能夠提升決策規劃應對復雜場景的上限。
但在這個階段，從感知到決策規劃的接口信息還需要人為定義，感知信息仍有損耗，且兩大模型是獨立訓練而成，還不是真正意義上的“端到端”。
直到進入第三個階段，即模塊化端到端，才能稱作“端到端”。在這個階段，雖然還分為感知與規控兩大部分，但感知與規控之間的接口已經不再基于人為定義，保證了信息的完整性。
此外，兩個模塊之間通過梯度傳導的方式進行整體的訓練，能實現全局優化的效果。
《報告》認為，目前已經或者接近量產的方案還停留在決策規劃模型化階段，距離模塊化端到端或One Model端到端自動駕駛量產落地還有距離，預計模塊化端到端將于2025年開始上車。
盡管各家的口號都喊得響亮，但實際上要走向第二個階段都不容易。
某智駕公司創始人何揚告訴《雷峰網》新智駕，規控純“端到端”（即決策規劃模型化）不現實，如果發生了錯誤，難以確保要采多少數據才能把這個錯誤給修正回來，研發迭代和OTA量產都沒有保證，因此必須要用規則來為規控“端到端”兜底。
蔚來智能駕駛研發副總裁任少卿也曾在《深網》的采訪中表態，到今天來說，業內已經完成規控模型化的玩家都寥寥無幾。
任少卿認為，做端到端大模型的前提是智駕各功能模塊都已經完成模型化，并且具有足夠性能與效率的工程體系支撐，沒辦法模型化，是因為工程體系還支撐不了這件事，比如需要有快速訓練一個模型并快速驗證的能力。
“你得有一些基本的能力之后，（端到端大模型）這玩意才有用，否則它是個毒藥。”
因此，蔚來采取的是漸進式端到端路線，逐一完成模塊的“端到端”。7月11日，蔚來發布了“端到端”AEB，宣稱“端到端”的應用使得AEB的場景覆蓋率提升5倍，同時誤報率幾乎沒有增加。
據理想官方介紹，理想現在的無圖NOA已經把感知和規劃各自整合成一個模型，也就是說，理想現階段已經完成了決策規劃的模型化。
而理想最晚要在明年年初實現最后的One Model端到端，這個目標已經超越了業內的整體進度。
算法、算力與數據，是自動駕駛的三大基礎。而自動駕駛端到端的數據驅動特質，對算力、數據等基建提出了更高的要求。與特斯拉為“端到端”在算力、數據方面投入的資源相比，國內目前仍有較大差距。
算力層面，根據“汽車之心”統計，特斯拉的DOJO智算中心，預計到2024年10月，總算力將達到10萬PFLOPS，相當于約30萬塊英偉達A100的算力總和。目前，理想的算力儲備為2400PFLOPS，這個數值在國內已屬于頭部。
數據層面的差距也十分凸顯。何揚向雷峰網《新智駕》提到，特斯拉每天在線跑的車的數量有200萬輛，國內難以望其項背。
某智駕公司高管也曾向雷峰網(公眾號：雷峰網)《新智駕》表示，特斯拉從早年做L2的功能，到高速領航，開始推出Learning-based的規控，并以之為基礎做端到端，正好是在它的保有量大概達到百萬輛的時候。
“只有當你有這么大規模的數據量以后，才能用相應的方法，當你沒那么多量的時候，方法根本用不起來。”
位居新勢力榜單榜首的理想，在這方面與國內同行相比具有不小優勢。
截至今年6月，理想的車輛保有量已經超過80萬臺。在可觀的保有量里，理想篩選出了只占3%的達到專車司機標準的用戶，把這些用戶的數據輸入到模型中，目前端到端模型已經學習了超過100萬公里的數據，到年底可能超過500萬公里。
算力與數據均無法媲美特斯拉，國內的端到端玩家選擇開辟與特斯拉不完全相同的路線。
理想的技術路線，是在One Model端到端之外，再加一個基于VLM的系統2提供輔助，配合系統1處理余下的5%的特殊場景。
VLM是LLM（即大語言模型）的進階版，除了處理文本，VLM還能處理視覺輸入，認識所在的場景，此前在具身智能領域已有較多探索。
理想是國內第一家公開將VLM這個概念引入自動駕駛的車企。但實際上，VLM在自動駕駛領域的應用可以追溯得更早。
今年5月獲得10.5億美元融資的英國科技公司Wayve，在23年9月年就發布了基于VLAM的LINGO系列的第一個模型，將自然語言引入了自動駕駛，讓自動駕駛系統解釋自己的決策邏輯，提高了模型的可解釋性。
“大語言模型收集語料，通過預訓練擁有了隱性的知識，包含了常識性的東西，具備一定的思考和退避能力。”
某車企智駕模塊負責人徐智告訴雷峰網《新智駕》，VLM所具有的這些顯性優勢，理論上能幫助解決長尾問題，這也是為什么業內要嘗試把大語言模型引入自動駕駛，甚至提出要用大語言模型替代傳統的規控算法。
今年5月，小鵬聲稱已經量產的端到端大模型實際上也運用了大語言模型。小鵬的端到端由感知神經網絡XNet、規控大模型XPlanner、AI大語言模型XBrain三部分組成。其中，大語言模型XBrain能夠提供系統處理復雜甚至未知場景的泛化處理能力。
理想方面表示，基于VLM的系統2能夠提供復雜環境的理解能力、讀懂導航地圖的能力以及交通規則的理解能力。
比如當系統2識別到坑洼不平的路面，或者光線較差的道路環境，會對駕駛員和系統一發出提醒，并適當減速。
系統2還能理解潮汐車道、公交車道等交通運行規則，知道在什么時間開哪條車道，對系統一作指導和建議。通過讀取導航信息，系統二還能判定系統一是否有走錯路，并實時規劃新的路徑。
朗咸朋表示，“系統2的角色相當于我們的副駕永遠坐了一個駕校的教練，這個教練也會時時刻刻監督你的行為，當你開錯道或者需要幫助的時候，它會主動提供一些建議，讓你更好地開這個車。”
不過，從“紙上談兵”邁入量產，現實非常“骨感”。車端算力有限，VLM這類動輒10億參數量以上的大模型難以在端側部署，是落地最顯性的難題。
理想是第一家將VLM部署到Orin-X芯片的企業。理想的VLM參數量達到22億，為了把這樣一個大模型部署在車端芯片，理想做了許多嘗試并與英偉達共同合作，最終將推理性能從4秒降到了0.3秒。
不止一位自動駕駛業者認為，理想對于VLM模型在車端芯片上運行的時延問題，優化得比想象中要更好。
“學術界一直有對VLM進行探索，在工程化上，理想能夠把時延從4秒壓縮到0.3秒挺令人震驚，這意味著VLM已經開始具備實用性了。”徐智表示。
但0.3秒的時延，也表示理想的VLM只能扮演一個非實時的監督者，提供輔助。如要承擔系統1這樣的主線任務，時延要達到30～50毫秒級別才算合格。
視覺算法工程師梅樂表示，理想的系統2由于時延的問題實際上無法處理突然發生的Corner Case，VLM的作用主要還是在規劃層面。
“實時的感知和規劃會丟掉更多的歷史信息，但是VLM跑得比較慢，可以把更長的歷史信息積累下來，可以給出更多關于場景的信息，幫助規劃收斂到一條更合適的路線。”
據介紹，理想的VLM采用流式視覺編碼器，相比于大部分的單幀VLM來說，可以緩存更長的視覺時序。同時，理想還設計了一個記憶模塊，用來緩存多幀歷史信息，更好地來執行超長時序的推理問題，解決超長時序的推理時延。
理想基于VLM的系統2，相當于給系統1上了一個“外掛”。
梅樂認為，“端到端大模型上車，還有很長的路要走，如果優化的效果沒有達到一定程度，車企是不敢貿然上車的，這時候有個外掛系統，起碼讓車企的信心更足一點，能加速端到端更快上車，是挺好的嘗試。”
理想的雙系統技術架構，是否會在業內掀起一波跟風潮？
梅樂認為，“VLM能起到作用是無疑的，但是業界真正關注的是，VLM花掉的算力和所實現的功能之間的投入收益比，這也是各家要不要跟進的一個決定性因素。”
另一方面是，“特斯拉的路徑已經證明了，好的司機是不需要教練的。”
VLM的賦能，最終能為理想的端到端提供多大的幫助，在未正式量產前還難以判定。
徐智最近在研究VLM模型在機器人領域的應用。他表示，用VLM來控制機械臂，從目前的研究來看，即便是針對專門的簡單場景，如執行把物品放在桌子上的指令，若經過VLA、模仿學習的優化后，機械臂執行任務的成功率是80%，若沒有經過優化，成功率只有30%不到。
“這個概率對于自動駕駛來說是無法接受的，現階段就把VLM用起來其實難度挺大的。”
目前來看，端到端的技術路線尚未收斂，理想的雙系統架構是其中一項不乏創新性的探索。
過去，在蔚小理三家中，理想對自動駕駛的投入相對保守。去年理想開始大力擴招并追趕進度，今年一季度研發投入達30億元，同比增長64.6%，理想正在以更積極的姿態加入這場競爭中。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
