上海2025年12月15日 /美通社/ -- 在全球機(jī)器人產(chǎn)業(yè)加速演進(jìn)的背景下，一個越來越清晰的共識正在形成：機(jī)器人真正走向真實世界，依賴的不只是更高的算力或更復(fù)雜的算法，而是一套能夠長期穩(wěn)定運行、持續(xù)演進(jìn)、并且可被產(chǎn)業(yè)廣泛采用的智能計算基礎(chǔ)。

過去十年，機(jī)器人經(jīng)歷了從"可編程執(zhí)行"到"感知驅(qū)動控制"的階段演進(jìn)，視覺、定位與運動控制逐步成熟。但隨著深度學(xué)習(xí)和 Transformer 架構(gòu)進(jìn)入機(jī)器人領(lǐng)域，機(jī)器人開始承擔(dān)更復(fù)雜的理解、決策與協(xié)作任務(wù)，系統(tǒng)復(fù)雜度呈指數(shù)級上升。真實世界中不斷變化的光照、環(huán)境、人類行為和任務(wù)目標(biāo)，使得傳統(tǒng)"模塊割裂、靜態(tài)部署"的機(jī)器人架構(gòu)逐漸暴露出瓶頸。

在這一背景下，黑芝麻智能推出 SesameX 多維具身智能計算平臺。SesameX 的目標(biāo)并非構(gòu)建一個封閉的全棧系統(tǒng)，而是面向產(chǎn)業(yè)伙伴提供一套開放、可擴(kuò)展、可量產(chǎn)的機(jī)器人智能計算底座，幫助機(jī)器人從"可運行"走向"可成長"，從單點能力展示邁向長期商業(yè)化落地。

一、SesameX 多維具身智能計算平臺：讓機(jī)器人真正從"可運行"，走向"可成長"

SesameX 在平臺設(shè)計的早期階段，就將"可成長性"作為核心目標(biāo)之一。所謂成長，并非簡單依賴模型規(guī)模擴(kuò)大，而是系統(tǒng)能夠在真實環(huán)境中持續(xù)穩(wěn)定運行，并在反饋中逐步優(yōu)化行為表現(xiàn)。

傳統(tǒng)機(jī)器人系統(tǒng)往往以任務(wù)為中心進(jìn)行設(shè)計，感知、規(guī)劃、控制彼此分離，模型部署完成即進(jìn)入長期靜態(tài)運行狀態(tài)。一旦環(huán)境變化或任務(wù)復(fù)雜度提升，系統(tǒng)需要重新設(shè)計、重新標(biāo)定，難以支撐規(guī)?；涞亍?/p>

SesameX 通過在平臺層面引入統(tǒng)一的計算結(jié)構(gòu)、任務(wù)表達(dá)方式和執(zhí)行調(diào)度機(jī)制，使機(jī)器人在架構(gòu)上具備持續(xù)演進(jìn)的基礎(chǔ)條件。不同來源的感知模型、規(guī)劃算法和控制策略可以在同一平臺內(nèi)協(xié)同運行，并在系統(tǒng)運行過程中形成穩(wěn)定的閉環(huán)反饋，從而支持機(jī)器人能力隨時間逐步提升。這種設(shè)計，使機(jī)器人首次在工程層面具備了從"任務(wù)執(zhí)行型"向"認(rèn)知理解型"再向"全腦協(xié)同型"演進(jìn)的現(xiàn)實路徑。

1.如何實現(xiàn)全腦智能？

黑芝麻智能提出"全腦智能(Whole-Brain Intelligence)"作為機(jī)器人計算平臺的長期設(shè)計目標(biāo)。該理念并非強調(diào)單一模型或算力的突破，而是借鑒人類大腦多區(qū)域協(xié)同工作的方式，將語言理解、空間感知、決策推理和運動控制等能力，在系統(tǒng)層面進(jìn)行統(tǒng)一組織和協(xié)同調(diào)度。

在 SesameX 平臺中，全腦智能并不是通過某一個"超級模型"實現(xiàn)，而是通過以下幾個層面的協(xié)同：

在計算層面，通過異構(gòu)算力單元(CPU、NPU、DSP、MCU 等)的統(tǒng)一調(diào)度，使不同類型的任務(wù)在合適的計算資源上高效執(zhí)行；

在系統(tǒng)層面，通過統(tǒng)一的任務(wù)表達(dá)和執(zhí)行機(jī)制，使感知、規(guī)劃與控制之間不再依賴人工拼接，而是形成連續(xù)的信息流；

在模型層面，通過多模態(tài)模型與原子化能力組合，使來自不同算法體系和生態(tài)伙伴的模型能夠自然協(xié)同。

通過這種方式，SesameX 將原本分散在多個子系統(tǒng)中的智能能力重新組織為一個持續(xù)協(xié)作的整體，使機(jī)器人在復(fù)雜環(huán)境中能夠形成穩(wěn)定、一致的跨模態(tài)理解與行為輸出，而非碎片化響應(yīng)。

2.如何面對機(jī)器人安全挑戰(zhàn)？

與汽車等高度結(jié)構(gòu)化場景不同，機(jī)器人通常與人類共享空間，安全不只是防止硬件故障，更是一種系統(tǒng)級能力。安全意味著行為可預(yù)測、狀態(tài)可解釋、異?？苫謴?fù)，并在極端情況下仍能最大程度保護(hù)人類。

SesameX 并未將安全視為某一個獨立模塊，而是將安全理念貫穿于整個平臺架構(gòu)之中。從感知輸入、算力調(diào)度、任務(wù)執(zhí)行到控制輸出，每一層都引入明確的安全約束和兜底機(jī)制。

平臺通過L0～L5多層級安全體系，使機(jī)器人在傳感器異常、模型輸出異常、資源爭搶或任務(wù)沖突等情況下，能夠自動進(jìn)入受控狀態(tài)，包括限速、重規(guī)劃或安全停機(jī)。這種系統(tǒng)級安全設(shè)計，使機(jī)器人不再依賴單點正確性，而是具備整體可控、可預(yù)測的運行特性，為商業(yè)化部署提供必要前提。

3.機(jī)器人"如何行動、如何保護(hù)人類"？

為了在真實環(huán)境中實現(xiàn)安全與自主并存，SesameX 將復(fù)雜的安全需求抽象為六層安全機(jī)制，從物理行為一直延伸到數(shù)據(jù)與系統(tǒng)安全，形成由下而上的整體防護(hù)結(jié)構(gòu)。

在執(zhí)行過程中，系統(tǒng)會持續(xù)監(jiān)測傳感器狀態(tài)、運動趨勢、人機(jī)距離以及決策穩(wěn)定性。一旦檢測到潛在風(fēng)險，平臺可在不同層級采取干預(yù)措施，從動作約束到策略降級，確保行為不越界。

在最高層的數(shù)據(jù)安全層，平臺通過本地推理、加密傳輸和系統(tǒng)完整性保護(hù)機(jī)制，防止數(shù)據(jù)泄露和系統(tǒng)被篡改。這一設(shè)計使機(jī)器人不僅在物理層面安全可控，在數(shù)字層面同樣具備可信基礎(chǔ)。

4.感知、算力和智力如何融合成完整有機(jī)體？

在真實世界中，機(jī)器人往往面臨這樣一種矛盾：傳感器"看得很清楚"，算力"也足夠強"，但整體行為卻依然遲緩、割裂，甚至在復(fù)雜場景下出現(xiàn)不穩(wěn)定的動作和判斷。這種現(xiàn)象并非源于單一模塊能力不足，而是系統(tǒng)層面缺乏統(tǒng)一的協(xié)同機(jī)制。

以典型的服務(wù)或巡檢機(jī)器人為例，當(dāng)機(jī)器人在人員密集環(huán)境中行進(jìn)時，需要同時完成多項任務(wù)：視覺系統(tǒng)持續(xù)識別行人和障礙物，定位系統(tǒng)更新自身位姿，規(guī)劃模塊實時調(diào)整路徑，控制系統(tǒng)保證運動平穩(wěn)；與此同時，上層任務(wù)邏輯可能還在接收新的目標(biāo)或指令。如果這些能力分別運行在相互獨立的子系統(tǒng)中，數(shù)據(jù)在多次拷貝與異步調(diào)度中流轉(zhuǎn)，系統(tǒng)就容易出現(xiàn)延遲累積、決策滯后或行為不連貫的問題。

SesameX 的設(shè)計出發(fā)點，正是將這些原本分散的能力重新組織為一個統(tǒng)一協(xié)同的整體。平臺在計算層面通過異構(gòu)算力融合，使感知、推理和控制不再是"各自為戰(zhàn)"的計算單元，而是接入同一算力網(wǎng)絡(luò)，由統(tǒng)一調(diào)度機(jī)制進(jìn)行管理。不同任務(wù)根據(jù)實時性和安全等級，被分配到最合適的計算資源上執(zhí)行，從而避免關(guān)鍵控制任務(wù)被高負(fù)載推理任務(wù)干擾。

在系統(tǒng)層面，SesameX 通過統(tǒng)一的數(shù)據(jù)通路和任務(wù)表達(dá)方式，將感知結(jié)果、決策邏輯和控制指令納入同一執(zhí)行鏈路。來自攝像頭、激光雷達(dá)或其他傳感器的數(shù)據(jù)，可以在最少的中間拷貝下直接進(jìn)入推理和規(guī)劃環(huán)節(jié)，縮短從"看到"到"行動"的反應(yīng)路徑。這種端到端一致的數(shù)據(jù)流，使機(jī)器人在動態(tài)環(huán)境中能夠更快地響應(yīng)突發(fā)變化。

在智能表達(dá)層面，平臺通過原子模型與任務(wù)圖的組合方式，把復(fù)雜行為拆解為可復(fù)用、可組合的智能單元。例如，在倉儲、商服或巡檢場景中，避障、跟隨、定位、交互等能力可以根據(jù)實時環(huán)境被動態(tài)組合，而不再依賴固定流程。這種"積木式"智能結(jié)構(gòu)，使機(jī)器人在面對不同場景時能夠靈活調(diào)整行為策略，而不是被限定在預(yù)設(shè)路徑中。

通過上述多層協(xié)同，SesameX 讓機(jī)器人從"多個模塊拼裝的系統(tǒng)"轉(zhuǎn)變?yōu)橐粋€具備統(tǒng)一感知、統(tǒng)一決策和統(tǒng)一行動邏輯的有機(jī)整體。機(jī)器人不再只是執(zhí)行單點任務(wù)，而是能夠在復(fù)雜環(huán)境中形成連貫、穩(wěn)定、可預(yù)測的行為表現(xiàn)，為真實世界應(yīng)用提供必要的系統(tǒng)可靠性。

5.如何實現(xiàn)閉環(huán)進(jìn)化？

真實世界永遠(yuǎn)比實驗環(huán)境更復(fù)雜。光照變化、環(huán)境反射、人流密度、地面材質(zhì)、設(shè)備老化等因素，都會在長期運行中不斷影響機(jī)器人性能。許多機(jī)器人在初期測試中表現(xiàn)良好，但隨著部署時間延長，定位漂移、識別準(zhǔn)確率下降、動作變得保守或不穩(wěn)定，最終需要頻繁人工介入。

SesameX 在平臺設(shè)計中引入"閉環(huán)進(jìn)化"的理念，目的是讓機(jī)器人在真實運行中持續(xù)積累經(jīng)驗，而不是在部署完成后停止成長。這一閉環(huán)并不局限于某一種訓(xùn)練框架或工具鏈，而是通過標(biāo)準(zhǔn)化的數(shù)據(jù)與接口，將機(jī)器人運行過程自然納入持續(xù)優(yōu)化鏈路。

在實際場景中，機(jī)器人在執(zhí)行任務(wù)的同時，會對關(guān)鍵運行指標(biāo)進(jìn)行持續(xù)記錄，包括感知穩(wěn)定性、模型推理延遲、任務(wù)成功率以及異常觸發(fā)情況。這些信息不會簡單堆積為日志，而是經(jīng)過結(jié)構(gòu)化整理，用于判斷系統(tǒng)在不同場景下的表現(xiàn)差異。

當(dāng)機(jī)器人在新環(huán)境中遇到性能下降或異常行為時，平臺可以通過對比歷史運行數(shù)據(jù)，定位問題來源：是感知模型對特定光照不敏感，還是規(guī)劃策略在擁擠環(huán)境中過于保守，或是算力資源分配不合理導(dǎo)致延遲波動。這種基于運行數(shù)據(jù)的分析，為后續(xù)優(yōu)化提供了明確方向。

在優(yōu)化階段，SesameX 并不強制限定模型更新方式。合作伙伴可以選擇在本地進(jìn)行模型微調(diào)，也可以在云端結(jié)合仿真環(huán)境進(jìn)行再訓(xùn)練。平臺通過統(tǒng)一接口支持模型更新、參數(shù)調(diào)整和策略回滾，使優(yōu)化過程對現(xiàn)場運行影響最小。

當(dāng)新的模型或策略被部署回機(jī)器人后，系統(tǒng)會在受控條件下逐步驗證其效果，并繼續(xù)進(jìn)入下一輪反饋。這種漸進(jìn)式的迭代方式，使機(jī)器人能力在長期運行中穩(wěn)步提升，而不會因一次更新帶來不可控風(fēng)險。

通過這一閉環(huán)機(jī)制，機(jī)器人不再是一次性交付的產(chǎn)品，而是具備持續(xù)演進(jìn)能力的系統(tǒng)。隨著部署規(guī)模擴(kuò)大，來自不同場景的數(shù)據(jù)還可以反向促進(jìn)算法和系統(tǒng)設(shè)計的優(yōu)化，形成技術(shù)與應(yīng)用相互推動的良性循環(huán)，為商業(yè)化落地提供長期價值。

二、SesameX 多維具身智能計算平臺：一套"從端側(cè)模組到全腦智能的體系化計算的全棧自研平臺"

SesameX 多維具身智能計算平臺提供了一套從硬件模組到系統(tǒng)軟件的完整計算體系，其目標(biāo)并非替代行業(yè)生態(tài)，而是為機(jī)器人廠商和算法伙伴提供一個可靠、可擴(kuò)展的基礎(chǔ)平臺。平臺通過模塊化設(shè)計、統(tǒng)一接口和兼容主流生態(tài)的方式，幫助合作伙伴降低系統(tǒng)集成復(fù)雜度，加速產(chǎn)品從研發(fā)走向量產(chǎn)。

1.計算平臺層 Module

SesameX 的計算系統(tǒng)由我們自主研發(fā)的三款計算模塊 Kalos、Aura 和 Liora 構(gòu)成，分別面向不同類型與復(fù)雜度的機(jī)器人算力需求。在計算平臺這一層，我們提供的不僅是三款單獨的模組，而是一套完整的計算平臺體系。模組內(nèi)部已高度集成 SoC、內(nèi)存、電源、電源管理與時鐘等復(fù)雜設(shè)計，并可兼容主流底板接口，支持豐富的 I/O，包括 MIPI、CAN-FD、以太網(wǎng)、USB、SPI與I2C 等，從而讓開發(fā)者可以直接面向系統(tǒng)級方案進(jìn)行設(shè)計。

平臺具備從實時控制到大模型推理均能穩(wěn)定輸出的可靠性能，同時 Kalos 與 Aura 擁有緊湊小巧的體積(分別為69×55mm與82×54mm)，非常適合部署于敏感空間或移動場景。借助這一平臺化設(shè)計，開發(fā)者只需進(jìn)行底板設(shè)計即可完成整機(jī)規(guī)劃，大幅降低研發(fā)門檻。

整體而言，這一層的價值在于為機(jī)器人提供可量產(chǎn)級的堅實硬件基礎(chǔ)，幫助不同形態(tài)的機(jī)器人以最低成本快速進(jìn)入功能調(diào)試與商業(yè)測試階段。

2.計算平臺層 Network

SesameX Network 作為系統(tǒng)級通信與數(shù)據(jù)編排層，負(fù)責(zé)在機(jī)器人內(nèi)部將不同計算模組、異構(gòu)算力單元以及各類外設(shè)構(gòu)建為一個統(tǒng)一的實時協(xié)同體系，并同時支撐機(jī)器人與邊緣節(jié)點、云端之間的穩(wěn)健無線互聯(lián)。

在該層中，網(wǎng)絡(luò)子系統(tǒng)基于確定性以太網(wǎng)(TSN)構(gòu)建內(nèi)部主干，使感知→算力→控制鏈路具備可預(yù)測的端到端延遲與帶寬保障；通過集成多路高帶寬數(shù)據(jù)通道，可同時承載高分辨率 MIPI 視頻流、10GbE 數(shù)據(jù)交換以及跨單元共享 SRAM 的高速訪存，實現(xiàn)視覺、SLAM 與推理任務(wù)的并行數(shù)據(jù)供給。

系統(tǒng)還實現(xiàn)了面向 WiFi7/5G 的低時延無線協(xié)同協(xié)議，使機(jī)器人在與邊側(cè)節(jié)點進(jìn)行分布式推理、任務(wù)共享時維持毫秒級鏈路抖動。底層數(shù)據(jù)管線采用 Zero-copy 通路設(shè)計，使來自 ISP/DSP 的感知流可直接進(jìn)入 NPU/CPU 的推理路徑，避免多級緩存拷貝帶來的額外延遲與功耗開銷。借助上述通信機(jī)制，SesameX Network 為機(jī)器人構(gòu)建起可擴(kuò)展的實時協(xié)同計算結(jié)構(gòu)，使其能夠在單機(jī)、集群與邊云協(xié)同環(huán)境下保持一致的實時性和數(shù)據(jù)一致性。

3.計算平臺層 OS

在操作系統(tǒng)層，SesameX 計算平臺提供了統(tǒng)一的軟件運行環(huán)境，支持 Ubuntu、ROS 2 以及自研的 SesameX-RTOS，從而在通用開發(fā)生態(tài)與實時控制需求之間實現(xiàn)兼容與平衡。平臺原生集成 ROS 2，能夠與行業(yè)主流算法框架無縫對接；同時通過 RTOS 與 Linux 的協(xié)同調(diào)度機(jī)制，使高頻控制環(huán)與大模型推理任務(wù)之間具備確定性時間片分配與干擾隔離能力。系統(tǒng)級安全隔離能力支持不同任務(wù)、不同權(quán)限在內(nèi)核與用戶態(tài)之間實現(xiàn)強隔離，確保運行安全性與可驗證性。

此外，OS 層提供統(tǒng)一的軟件抽象，使 Kalos、Aura 和 Liora 等多款模組可在同一套系統(tǒng)架構(gòu)中保持一致運行體驗。作為機(jī)器人系統(tǒng)的"基礎(chǔ)生命層"，這一層決定了整機(jī)的可靠性、實時性與可擴(kuò)展性，是支撐上層感知、規(guī)劃與控制能力的根本。

4.中間件層

SesameX 中間件層由調(diào)度引擎、工具鏈和 Runtime 三大核心模塊構(gòu)成，共同形成機(jī)器人系統(tǒng)的"中樞神經(jīng)網(wǎng)絡(luò)"。其中，SesameX 調(diào)度引擎負(fù)責(zé)跨模型、跨任務(wù)及跨算力單元的協(xié)同調(diào)度，通過優(yōu)先級機(jī)制與任務(wù)隔離確保關(guān)鍵任務(wù)不被資源爭搶，安全域任務(wù)在系統(tǒng)中獲得最高級別的實時執(zhí)行權(quán)。工具鏈組件提供并行編譯、混合精度加速、Transformer 結(jié)構(gòu)優(yōu)化、自動量化與算子級優(yōu)化等能力，使模型在 Kalos、Aura、Liora 等不同模組上都能獲得最優(yōu)延遲與算力利用率。SesameX Runtime 則對 CPU、DSP、NPU 與 MCU 進(jìn)行異構(gòu)融合調(diào)度，通過模型沙箱化、實時自調(diào)優(yōu)和故障隔離，實現(xiàn)多模型并行執(zhí)行與多單元算力的動態(tài)分配。

借助中間件層的統(tǒng)一抽象和調(diào)度體系，機(jī)器人智能從"分散式算力塊"演進(jìn)為"統(tǒng)一調(diào)度的大腦結(jié)構(gòu)"，從而獲得更平滑的動作生成、更低抖動的實時響應(yīng)與更高的系統(tǒng)魯棒性。

5.原子應(yīng)用層

SesameX 原子應(yīng)用層通過將復(fù)雜任務(wù)分解為最小可復(fù)用的原子技能(Atom Skills)，并進(jìn)一步抽象為可組合的原子模型(Atom Models)，構(gòu)建出可動態(tài)編排的智能行為體系。該層基于任務(wù)模型(Task Model)實現(xiàn)運行時的技能組合，使機(jī)器人能夠在無需硬編碼流程的情況下，根據(jù)環(huán)境與目標(biāo)在線生成行為序列。核心能力包括：

覆蓋視覺、定位、融合、規(guī)劃、控制、語言與多模態(tài)等多類別的原子技能庫；基于 Skill Graph 的任務(wù)圖生成機(jī)制，通過結(jié)構(gòu)化圖模型而非傳統(tǒng)代碼邏輯驅(qū)動機(jī)器人行為；跨機(jī)器人平臺的模型復(fù)用能力，使不同機(jī)器人可共享如 VSLAM、目標(biāo)檢測、軌跡生成等原子模型；以及支持實時任務(wù)編排的動態(tài)行為組合，使機(jī)器人能夠根據(jù)情境變換重構(gòu)任務(wù)執(zhí)行鏈路。借助這一層，機(jī)器人首次具備類似"思維積木"的智能能力，智能行為從固定邏輯轉(zhuǎn)變?yōu)榭山M合、可擴(kuò)展、可實時演化的任務(wù)體系。

6.系統(tǒng)安全層

系統(tǒng)安全層構(gòu)建的是一個"由下而上、多級聯(lián)動"的安全體系，從物理行為開始守護(hù)，一直向上延伸到?jīng)Q策安全、主動預(yù)警和數(shù)據(jù)安全。這種設(shè)計保證了只要系統(tǒng)啟動，安全就始終在線，貫穿機(jī)器人生命周期的全部環(huán)節(jié)。

L0｜本能反射層：最底層的機(jī)械與電氣保護(hù)。安全從最根部開始：電機(jī)斷電、STO、限位、限扭、急停等機(jī)制構(gòu)成機(jī)器人的"本能反射"，確保即使在最極端的情況下也不會造成物理傷害。這是所有安全的地基。

L1｜動作審查層：實時運動安全約束。再往上一層，是由 MCU/R5F 等實時控制單元構(gòu)建的動作審查系統(tǒng)。它以毫秒級速度監(jiān)測速度、加速度、力矩和關(guān)節(jié)狀態(tài)，阻止任何不合理動作的發(fā)生。安全開始從"物理兜底"進(jìn)入"實時保護(hù)"。

L2｜安全軌跡層：計劃級的行為兜底。在控制安全之上，是規(guī)劃與軌跡層的安全機(jī)制。即使決策模型輸出異常，也會自動降級為"安全軌跡"，防止機(jī)器人進(jìn)入風(fēng)險區(qū)域。AI 出錯≠執(zhí)行危險動作。

L3｜策略防護(hù)層：約束高層意圖，避免錯誤策略落地。再向上，是高層行為與策略的安[美通社]

【免責(zé)聲明】本文僅代表作者個人觀點，與云財經(jīng)無關(guān)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實，云財經(jīng)對本文以及其中全部或者部分內(nèi)容、文字的真實性、完整性、及時性本站不作任何保證或承諾，請讀者僅作參考，并請自行核實相關(guān)內(nèi)容。