端到端自動(dòng)駕駛：車(chē)企宣傳背后的真相與未來(lái)之路

2024年“端到端自動(dòng)駕駛”一定是自動(dòng)駕駛領(lǐng)域的熱門(mén)詞匯。這個(gè)曾經(jīng)僅在學(xué)術(shù)論文中出現(xiàn)的概念，如今已成為特斯拉、小鵬、華為等公司的技術(shù)口號(hào)。然而，消費(fèi)者和媒體在提到“端到端”時(shí)，往往只將其理解為“更智能、更高級(jí)”，但其背后的技術(shù)內(nèi)涵、研發(fā)難點(diǎn)和行業(yè)現(xiàn)狀究竟如何？
● 架構(gòu)起源：傳統(tǒng)的自動(dòng)駕駛架構(gòu)起源于機(jī)器人技術(shù)，包括以下5個(gè)核心模塊。
1. 感知模塊：負(fù)責(zé)收集和解析車(chē)輛周?chē)�環(huán)境的信息，利用多種傳感器來(lái)檢測(cè)和識(shí)別物體，并將數(shù)據(jù)處理成環(huán)境模型，最終輸出基于人類(lèi)定義的環(huán)境抽象。
2. 定位模塊：通過(guò)GPS、IMU和傳感器數(shù)據(jù)等手段，確定車(chē)輛在環(huán)境中的精確位置，并結(jié)合基于地圖的定位技術(shù)。
3. 預(yù)測(cè)模塊：預(yù)測(cè)其他道路使用者的行為和意圖，以便系統(tǒng)能夠提前做出決策，避免潛在的碰撞。
4. 決策與規(guī)劃模塊：根據(jù)感知和預(yù)測(cè)的信息，決策模塊制定行駛策略，而規(guī)劃模塊則生成詳細(xì)的行駛軌跡。
5. 控制模塊：執(zhí)行決策與規(guī)劃模塊輸出的車(chē)輛控制指令，精確控制油門(mén)、剎車(chē)和轉(zhuǎn)向。
    雖然傳統(tǒng)方案便于各個(gè)模塊的獨(dú)立開(kāi)發(fā)和問(wèn)題追溯，但這也限制了模塊及整個(gè)系統(tǒng)的靈活性和泛化能力。
● 端到端的背后：不僅是技術(shù)的創(chuàng)新，更是在追求產(chǎn)業(yè)的效率
    “端到端自動(dòng)駕駛”這一概念，實(shí)際上是在傳統(tǒng)的模塊化自動(dòng)駕駛架構(gòu)基礎(chǔ)上，推動(dòng)系統(tǒng)的深度整合。過(guò)去，自動(dòng)駕駛系統(tǒng)被劃分為感知、決策、規(guī)劃等多個(gè)獨(dú)立模塊，各自承擔(dān)特定功能，接口設(shè)計(jì)清晰。然而，這種模式雖然穩(wěn)定，卻存在三大主要問(wèn)題：
1. 效率損失，數(shù)據(jù)割裂導(dǎo)致：模塊之間的接口設(shè)計(jì)往往基于工程規(guī)則，這可能導(dǎo)致信息在傳遞過(guò)程中出現(xiàn)損失。例如，感知模塊提取的環(huán)境特征在傳遞到?jīng)Q策模塊時(shí)，經(jīng)過(guò)壓縮后可能會(huì)丟失關(guān)鍵信息。
2. 技術(shù)障礙 ，全局優(yōu)化能力不夠：模塊獨(dú)立訓(xùn)練意味著每個(gè)部分只能優(yōu)化自身的性能，整體系統(tǒng)卻難以實(shí)現(xiàn)最佳效果。例如，感知模塊可能專(zhuān)注于精準(zhǔn)識(shí)別，而決策模塊在實(shí)際路況中卻難以平衡安全性與舒適性。
3. 開(kāi)發(fā)成本非常的高：模塊的獨(dú)立開(kāi)發(fā)和維護(hù)需要大量的人力和計(jì)算資源，同時(shí)增加了系統(tǒng)的復(fù)雜性，限制了迭代效率。
    “端到端”概念應(yīng)運(yùn)而生，其核心并非簡(jiǎn)單替代模塊化架構(gòu)，而是通過(guò)無(wú)損的信息流動(dòng)和全局優(yōu)化，重新定義自動(dòng)駕駛的研發(fā)模式。這不僅是技術(shù)上的創(chuàng)新，更是對(duì)汽車(chē)企業(yè)內(nèi)部研發(fā)流程和組織效率的全面改造。
● 端到端的四種類(lèi)型，技術(shù)路徑的多樣性：
    盡管汽車(chē)制造商在宣傳中頻繁提到“端到端”技術(shù)，但在實(shí)際應(yīng)用中，技術(shù)實(shí)現(xiàn)存在層次和差異。以下四種類(lèi)型并不是簡(jiǎn)單的時(shí)間演變，而是技術(shù)架構(gòu)的多種選擇路徑：

1. 感知“端到端”：局部?jī)?yōu)化的探索
    這一類(lèi)型以感知模塊為核心，通過(guò)鳥(niǎo)瞰圖（BEV）技術(shù)整合多種傳感器數(shù)據(jù)，實(shí)現(xiàn)感知結(jié)果的無(wú)損傳遞。然而，規(guī)劃和決策仍主要依賴(lài)傳統(tǒng)規(guī)則，處于局部?jī)?yōu)化階段。
    這種方法雖然提高了感知模塊的精度，但其局限性也十分明顯：規(guī)劃與決策仍然依賴(lài)手動(dòng)規(guī)則，難以應(yīng)對(duì)復(fù)雜的長(zhǎng)尾場(chǎng)景。當(dāng)許多國(guó)產(chǎn)車(chē)企宣稱(chēng)擁有“全新感知算法”時(shí)，實(shí)際上往往只是將 BEV 技術(shù)融入感知模塊，而未能實(shí)現(xiàn)真正的端到端解決方案。



行業(yè)案例：小鵬的 XPILOT 系統(tǒng)可以歸入這一類(lèi)別，其感知模塊融合了多傳感器技術(shù)，但在決策與規(guī)劃方面仍部分依賴(lài)傳統(tǒng)邏輯。
2. 決策規(guī)劃模型化：初步探索全局優(yōu)化
    在這一階段，我們通過(guò)將決策與規(guī)劃功能整合為一個(gè)神經(jīng)網(wǎng)絡(luò)，初步實(shí)現(xiàn)了全局優(yōu)化的能力。盡管感知模塊依然采用傳統(tǒng)架構(gòu)，規(guī)劃模塊卻開(kāi)始突破規(guī)則的限制，轉(zhuǎn)向數(shù)據(jù)驅(qū)動(dòng)的方式來(lái)優(yōu)化輸出結(jié)果。
    這是模塊化向真正端到端系統(tǒng)邁出的第一步，標(biāo)志著人工規(guī)則干預(yù)的逐漸減少，使得系統(tǒng)能夠在訓(xùn)練過(guò)程中自主適應(yīng)復(fù)雜場(chǎng)景。然而，這種方法的局限性在于模塊之間仍然存在割裂，感知結(jié)果可能無(wú)法完全支持規(guī)劃模塊的需求。
行業(yè)案例：華為的ADS技術(shù)路線(xiàn)展示了對(duì)這一方向的探索，其決策規(guī)劃部分已實(shí)現(xiàn)模型化，但感知模塊仍然停留在傳統(tǒng)架構(gòu)的階段。
3. 模塊化端到端：信息流動(dòng)的完整閉環(huán)
    模塊化端到端是當(dāng)前最具實(shí)際意義的技術(shù)路徑之一。它通過(guò)特征向量將感知模塊與規(guī)劃模塊連接，實(shí)現(xiàn)跨模塊的梯度傳導(dǎo)，確保信息的無(wú)損傳遞和全局優(yōu)化。
    這一架構(gòu)的創(chuàng)新在于實(shí)現(xiàn)了跨模塊的無(wú)縫整合，利用深度學(xué)習(xí)模型使感知結(jié)果直接影響決策規(guī)劃的輸出。這不僅提升了模型的智能化水平，還顯著改善了駕駛體驗(yàn)的自然性和安全性。
行業(yè)案例：特斯拉的FSD v12被視為模塊化端到端的典范，通過(guò)強(qiáng)化學(xué)習(xí)技術(shù)實(shí)現(xiàn)了更具人性化的駕駛風(fēng)格。其系統(tǒng)架構(gòu)不再局限于傳統(tǒng)的模塊化接口，而是以全局性能為優(yōu)化目標(biāo)。
4. One Model 端到端：技術(shù)巔峰與現(xiàn)實(shí)挑戰(zhàn)
    One Model 端到端指的是通過(guò)一個(gè)深度學(xué)習(xí)模型，從傳感器輸入到軌跡輸出的全過(guò)程，無(wú)需任何模塊化設(shè)計(jì)。這種架構(gòu)展現(xiàn)出極強(qiáng)的泛化能力，但對(duì)訓(xùn)練數(shù)據(jù)的數(shù)量和車(chē)輛端的計(jì)算能力要求極高，目前仍主要處于實(shí)驗(yàn)室研究階段。

    如果這一架構(gòu)得以實(shí)現(xiàn)，自動(dòng)駕駛技術(shù)將完全邁入通用人工智能（AGI）的領(lǐng)域。然而，當(dāng)前的計(jì)算能力瓶頸和數(shù)據(jù)覆蓋問(wèn)題使得其難以在實(shí)際車(chē)輛上實(shí)現(xiàn)量產(chǎn)。最終，能做好One Model 端到端的車(chē)企，也就有極大概率做好人形機(jī)器人。
行業(yè)案例：英偉達(dá)早期提出的單一模型架構(gòu)可以歸入這一類(lèi)別，但目前市場(chǎng)上尚未出現(xiàn)成熟的 One Model 產(chǎn)品。
特斯拉：FSD v12.3（2023）（Cybertruck版FSD功能，版本號(hào)v12.5.5）24年9月底正式發(fā)布，系統(tǒng)版本2024.32.20。
    特斯拉宣布，從FSD 12.3版本開(kāi)始，采用了端到端的自動(dòng)駕駛方案。與之前的非端到端版本相比，這一新方案在復(fù)雜場(chǎng)景中的泛化能力更強(qiáng)，與其他車(chē)輛和行人的互動(dòng)也更加靈活，駕駛風(fēng)格更貼近人類(lèi)習(xí)慣。整體表現(xiàn)已顯著超越基于規(guī)則的決策規(guī)劃模塊。業(yè)內(nèi)普遍認(rèn)為，這一顯著提升在很大程度上依賴(lài)于決策規(guī)劃模塊的基礎(chǔ)方案，但目前尚無(wú)法明確判斷特斯拉的實(shí)現(xiàn)方案屬于本報(bào)告所定義的“決策規(guī)劃模型化”、“模塊化端到端”或“One Model 端到端”的哪個(gè)階段。
    特斯拉自動(dòng)駕駛總監(jiān)Ashok Elluswamy在CVPR 2023上分享了團(tuán)隊(duì)在世界模型（World Model）方向的研究進(jìn)展。這項(xiàng)研究很可能成為FSD下一階段“One Model 端到端”自動(dòng)駕駛方案的基礎(chǔ)，并有潛力進(jìn)一步發(fā)展為自動(dòng)駕駛和人形機(jī)器人的通用底層模型。
    根據(jù)上述分類(lèi)，大家可以進(jìn)一步討論一下，目前廠(chǎng)商宣傳的端到端技術(shù)中，究竟屬于哪一類(lèi)？關(guān)于端到端是否可以細(xì)分為這四類(lèi)，業(yè)內(nèi)也存在不同的觀點(diǎn)。例如，有人將端到端自動(dòng)駕駛的定義分為“狹義端到端”和“廣義端到端”。
狹義端到端：指的是傳感器數(shù)據(jù)經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)處理后，直接輸出控制信號(hào)給方向盤(pán)、油門(mén)和剎車(chē)等執(zhí)行器。這種模式通過(guò)單一的神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)，嚴(yán)格意義上屬于端到端。
廣義端到端：廣義端到端具有兩個(gè)特點(diǎn)：信息傳遞無(wú)損和能夠?qū)崿F(xiàn)數(shù)據(jù)驅(qū)動(dòng)的整體優(yōu)化。從廣義的角度來(lái)看，目前主流方案之間仍存在差異。主要方案包括通過(guò)神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)感知與決策規(guī)劃，但不包括控制模塊；或者感知和決策規(guī)劃使用神經(jīng)網(wǎng)絡(luò)，而模塊之間仍然有人工設(shè)計(jì)的數(shù)據(jù)接口等方式。
● 如何看待汽車(chē)企業(yè)的“端到端”宣傳？
    在行業(yè)競(jìng)爭(zhēng)日益激烈的背景下，汽車(chē)企業(yè)對(duì)“端到端”技術(shù)的宣傳往往受到市場(chǎng)需求和營(yíng)銷(xiāo)策略的影響而被夸大。熱詞背后的真實(shí)技術(shù)進(jìn)展：許多汽車(chē)企業(yè)在感知“端到端”階段時(shí)便聲稱(chēng)已實(shí)現(xiàn)真正的端到端，這種過(guò)度宣傳常常導(dǎo)致消費(fèi)者對(duì)技術(shù)的期望過(guò)高。然而，真正的端到端技術(shù)需要跨模塊的優(yōu)化能力，而這一點(diǎn)只有少數(shù)企業(yè)具備。
    特斯拉的FSD系統(tǒng)的標(biāo)桿效應(yīng)，不僅推動(dòng)了技術(shù)的創(chuàng)新，也為行業(yè)設(shè)定了高標(biāo)準(zhǔn)。盡管?chē)?guó)內(nèi)車(chē)企在感知和規(guī)劃方面取得了一定的進(jìn)展，但在整體優(yōu)化能力上仍然存在差距。
    端到端不僅代表著技術(shù)的革新，更是一場(chǎng)組織效率的革命。通過(guò)減少傳統(tǒng)模塊之間的研發(fā)壁壘，汽車(chē)企業(yè)有望實(shí)現(xiàn)更快速的技術(shù)迭代和更低的成本投入，但前提是技術(shù)積累和計(jì)算能力能夠支持這一變革。
● 端到端的量產(chǎn)進(jìn)展
    國(guó)內(nèi)領(lǐng)先的乘用車(chē)自動(dòng)駕駛企業(yè)，如華為、小鵬、元戎啟行和商湯絕影等，已公布其端到端自動(dòng)駕駛方案將在2024至2025年實(shí)現(xiàn)量產(chǎn)上車(chē)。業(yè)內(nèi)普遍認(rèn)為，特斯拉的FSD v12將采用模塊化的端到端方案，結(jié)合國(guó)內(nèi)企業(yè)在追趕特斯拉技術(shù)方面的進(jìn)展，預(yù)計(jì)國(guó)內(nèi)自動(dòng)駕駛公司將在2025年實(shí)現(xiàn)模塊化端到端方案的量產(chǎn)上車(chē)。



    行業(yè)內(nèi)也在積極布局One Model端到端系統(tǒng)，預(yù)計(jì)其落地時(shí)間將比模塊化端到端方案晚1至2年，即在2026至2027年開(kāi)始量產(chǎn)上車(chē)。
● 端到端的未來(lái)
    端到端自動(dòng)駕駛的興起不僅是技術(shù)的較量，更是對(duì)汽車(chē)制造商戰(zhàn)略決策和執(zhí)行力的全面考驗(yàn)。從感知優(yōu)化到整體規(guī)劃，從模塊化整合到單一模型，每一步都面臨著巨大的挑戰(zhàn)和潛在的機(jī)遇。對(duì)于媒體而言，解讀端到端的概念不能僅停留在表面，而應(yīng)深入分析其本質(zhì)，幫助消費(fèi)者理解技術(shù)背后的真實(shí)能力與局限。
    未來(lái)，“端到端”是否能成為行業(yè)的主流，取決于技術(shù)的落地速度和用戶(hù)體驗(yàn)的提升�；蛟S，只有當(dāng)自動(dòng)駕駛真正進(jìn)入“擬人化”階段，端到端的意義才能得到全面的詮釋。
========================================
以上內(nèi)容大多學(xué)習(xí)引用自：
《自動(dòng)駕駛分會(huì)辰韜資本2024端到端自動(dòng)駕駛行業(yè)研究報(bào)告》
《智能汽車(chē)系列一端到端技術(shù)飛躍引領(lǐng)新一輪智能駕駛產(chǎn)業(yè)革命》