AI推理進(jìn)入"10毫秒、1塊錢"時代!浪潮信息發(fā)布面向智能體優(yōu)化AI計(jì)算系統(tǒng)
北京2025年9月28日 /美通社/ -- 9月26日,在2025人工智能計(jì)算大會上,浪潮信息公布,基于元腦SD200超節(jié)點(diǎn)AI服務(wù)器,DeepSeek R1大模型token生成速度僅需8.9毫秒,創(chuàng)造國內(nèi)大模型最快token生成速度;而最新發(fā)布的元腦HC1000超擴(kuò)展AI服務(wù)器,實(shí)現(xiàn)每百萬token成本首次擊破1元。浪潮信息對AI計(jì)算架構(gòu)的持續(xù)創(chuàng)新,旨在解決智能體產(chǎn)業(yè)化面臨的交互速度和token成本兩大瓶頸,為多智能體協(xié)同與復(fù)雜任務(wù)推理的規(guī)?;涞?,提供高速度、低成本的算力基礎(chǔ)設(shè)施。
隨著Scaling Law持續(xù)推動模型能力躍升,以DeepSeek為代表的開源模型極大的降低了創(chuàng)新門檻,加速智能體產(chǎn)業(yè)化的到來。智能體產(chǎn)業(yè)化的核心三要素是能力、速度和成本。其中模型能力決定了智能體的應(yīng)用上限,交互速度決定了智能體的商業(yè)價值,token成本決定了智能體的盈利能力。
僅需8.9毫秒!元腦SD200引領(lǐng)token生成速度率先進(jìn)入"10毫秒時代"
浪潮信息最新公布,基于元腦SD200超節(jié)點(diǎn)AI服務(wù)器運(yùn)行DeepSeek R1大模型,單token生成速度低至8.9毫秒,帶動國內(nèi)AI服務(wù)器token生成速度率先進(jìn)入"10毫秒時代"。
元腦SD200基于創(chuàng)新研發(fā)的多主機(jī)低延遲內(nèi)存語義通信架構(gòu),在單機(jī)內(nèi)實(shí)現(xiàn)了64路本土AI芯片的高速統(tǒng)一互連,單機(jī)可承載4萬億參數(shù)單體模型,或部署多個萬億參數(shù)模型組成的智能體應(yīng)用,實(shí)現(xiàn)多模型協(xié)同執(zhí)行復(fù)雜任務(wù)。為實(shí)現(xiàn)極低的通信延遲,元腦SD200采用精簡高效的三層協(xié)議棧,原生支持多種內(nèi)存語義操作,避免冗余數(shù)據(jù)拷貝,將基礎(chǔ)通信延遲降至百納秒級,硬件化鏈路層重傳與分布式預(yù)防式流控進(jìn)一步適配高吞吐、低延遲的 AI 推理場景。
元腦HC1000,推理成本首次擊破1元/每百萬token
浪潮信息重磅發(fā)布元腦HC1000超擴(kuò)展AI服務(wù)器,基于全新開發(fā)的全對稱DirectCom極速架構(gòu),無損超擴(kuò)展設(shè)計(jì)聚合海量本土AI芯片、支持極大推理吞吐量,推理成本首次擊破1元/每百萬token,為智能體突破token成本瓶頸提供極致性能的創(chuàng)新算力系統(tǒng)。
元腦HC1000通過全面優(yōu)化降本和軟硬協(xié)同增效,創(chuàng)新16卡計(jì)算模組設(shè)計(jì)、單卡"計(jì)算-顯存-互連"均衡設(shè)計(jì),大幅降低單卡成本和每卡系統(tǒng)分?jǐn)偝杀?。同時,全對稱的系統(tǒng)拓?fù)湓O(shè)計(jì)支持超大規(guī)模無損擴(kuò)展。據(jù)測算,元腦HC1000通過算網(wǎng)深度協(xié)同、全域無損技術(shù),實(shí)現(xiàn)推理性能相比傳統(tǒng)RoCE提升1.75倍,單卡模型算力利用率最高提升5.7倍。
未來,智能體帶來的推理算力需求將呈現(xiàn)出指數(shù)級的爆發(fā)式增長。浪潮信息將通過軟硬件協(xié)同設(shè)計(jì)與深度優(yōu)化,持續(xù)推動AI計(jì)算架構(gòu)的創(chuàng)新與突破,不斷實(shí)現(xiàn)token生成"提速降本",積極促進(jìn)大模型、智能體等人工智能技術(shù)與實(shí)體經(jīng)濟(jì)的深度融合,讓人工智能成為千行百業(yè)的生產(chǎn)力和創(chuàng)新力。
【免責(zé)聲明】本文僅代表作者個人觀點(diǎn),與云財(cái)經(jīng)無關(guān)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí),云財(cái)經(jīng)對本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實(shí)相關(guān)內(nèi)容。
新聞標(biāo)題 | 時間 | 消息來源 | 新聞熱度 |
---|---|---|---|
中國二手車市場激發(fā)消費(fèi)新動能 | 今天 09:30 | 云財(cái)經(jīng) |
|
奧雅股份中標(biāo)山西萬榮飛云樓歷史文化片區(qū)周邊環(huán)境提升改造項(xiàng)目 | 今天 09:30 | 云財(cái)經(jīng) |
|
泰勝風(fēng)能:子公司暫不計(jì)劃進(jìn)行火箭外殼有關(guān)技術(shù)或市場的開發(fā) | 09-28 15:08 | 云財(cái)經(jīng) |
|
日媒:日防衛(wèi)省考慮改裝民用車輛充當(dāng)裝甲車,豐田“陸巡”等車型將接受測試 | 09-28 13:12 | 云財(cái)經(jīng) |
|
廣東區(qū)域創(chuàng)新能力實(shí)現(xiàn)“九連冠” | 09-28 08:24 | 云財(cái)經(jīng) |
|
兆易創(chuàng)新攜多套解決方案亮相CIIF2025,助力人形機(jī)器人落地 | 09-27 11:35 | 云財(cái)經(jīng) |
|