亚洲偷自拍视频在线观看,一级a爱99做片观看免费,久久国产视屏,欧美国产在线视频大全,国产成年网站v片在线观看,免费A级毛片免费视频,人妻少妇满足中文字幕

當(dāng)前位置: 首頁 文章

小鵬汽車啟動VLA基模研發(fā),2億Clips訓(xùn)練720億超大規(guī)模模型

駕仕派-太平洋號
仕聚一堂,言車馬之樂。
+ 關(guān)注

小鵬汽車在新X9發(fā)布上市之前,做了一場AI技術(shù)分享會,再次強調(diào)了自己是一家AI驅(qū)動的技術(shù)公司。而這次技術(shù)分享會的一個核心內(nèi)容就是:小鵬汽車正在研發(fā)VLA基座模型,也在研發(fā)“世界模型”,而且小鵬汽車已經(jīng)擁有10 EFLOPS的算力。

可以說,小鵬汽車整個智駕技術(shù)路線也已經(jīng)向業(yè)界下一代主流路線VLA開始迭代。

1、正在研發(fā)的“小鵬世界基座模型”是一個720億參數(shù)的超大規(guī)模自動駕駛大模型,可以理解為一個VLA基座模型。據(jù)介紹,小鵬基模是一個以大語言模型為骨架網(wǎng)絡(luò)、使用海量優(yōu)質(zhì)駕駛數(shù)據(jù)訓(xùn)練的多模態(tài)大模型,具備視覺理解能力、長思維鏈?zhǔn)酵评砟芰Γ–oT)和動作生成能力,從而在充分理解現(xiàn)實世界的基礎(chǔ)上,能夠像人類一樣進行復(fù)雜的常識推理,并將推理結(jié)果轉(zhuǎn)化為行動。

2、需要強調(diào)的是,“小鵬世界基座模型”里面的“世界”只是一個修飾詞,并非是“World Model”的真實含義。但是小鵬之所以將新的基座模型稱為“世界基座模型”,或許是考慮到小鵬已經(jīng)開始研發(fā)真正意義上的物理世界大模型。今后世界模型將作為“云端模型工廠”的重要一環(huán),支持基座模型的性能優(yōu)化,相當(dāng)于世界模型是基座模型的訓(xùn)練場。

3、此次小鵬汽車基座模型參數(shù)量達到了72B,是主流VLA模型的35倍左右。這個35倍我們猜測小鵬應(yīng)該是對比友商的2.2B的VLM參數(shù)量來衡量的。之所以小鵬要研發(fā)超大規(guī)模的VLA基座模型,主要是因為他們已經(jīng)初步驗證了VLA依然有規(guī)模法則(Scaling Law)效應(yīng)——參數(shù)規(guī)模越大,模型的能力越強;同樣的模型大小,訓(xùn)練數(shù)據(jù)量越大,模型的能力也會越強。

4、只有足夠強大的基座模型,才能夠被強化學(xué)習(xí)(Reinforcement Learning)充分激發(fā)上限,小鵬汽車已經(jīng)逐步搭建了針對強化學(xué)習(xí)的模型訓(xùn)練框架,包括2B、7B、72B,其訓(xùn)練數(shù)據(jù)了從100萬Clips一直到2000萬Clips,最終為了滿足72B超大模型會用到2億Clips。

5、這里小鵬汽車專門提到,云端大模型的規(guī)模越大,從蒸餾出來的端側(cè)模型效果來說才會更好。未來,小鵬將通過云端蒸餾小模型的方式將基模部署到車端,最終可讓車端模型的性能超越車端算力“一畝三分田”的限制。強化學(xué)習(xí)和云端蒸餾等技術(shù)方案已經(jīng)在DeepSeek上做了驗證,所以小鵬汽車很有信心。

6、小鵬汽車透露他們已經(jīng)在后裝算力的車端成功以小尺寸基模實現(xiàn)了控車,盡管是非常早期的實車測試,但是結(jié)果依然讓人滿意。一個值得注意的細(xì)節(jié)是,小鵬強調(diào)了是“后裝算力”,這意味著要跑VLA基座模型還是需要更大算力。

7、有意思的是,小鵬汽車還提到一點:即便來到“大模型時代”,過去“規(guī)則時代”的領(lǐng)先經(jīng)驗仍在發(fā)揮作用。在開發(fā)強化學(xué)習(xí)的獎勵模型(Reward Model)時,研發(fā)團隊基于規(guī)則經(jīng)驗設(shè)計了獎勵函數(shù),將規(guī)則時代的沉淀轉(zhuǎn)化為了訓(xùn)練基座模型的生產(chǎn)力。這似乎是小鵬在強調(diào)其過去積累的經(jīng)驗依然可以幫助他們實現(xiàn)繼續(xù)領(lǐng)先,而不完全是推倒重來。

8、最后是小鵬汽車已經(jīng)著手開發(fā)世界模型(World Model)。小鵬的世界模型是一種實時建模和反饋系統(tǒng),能夠基于動作信號模擬出真實環(huán)境狀態(tài),渲染場景,并生成場景內(nèi)其他智能體(也即交通參與者)的響應(yīng),從而構(gòu)建一個閉環(huán)的反饋網(wǎng)絡(luò),幫助基座模型不斷進化,逐漸突破過去“模仿學(xué)習(xí)”的天花板。

文|JackieLXX

圖|網(wǎng)絡(luò)

聲明:本文由太平洋號作者撰寫,觀點僅代表個人,不代表太平洋汽車。文中部分圖片來自于網(wǎng)絡(luò),感謝原作者。
987
04-15
智駕大橫評

相關(guān)車系

更多>>

相關(guān)推薦

熱門文章

|