- 游戲攻略提示,《原神》再相見成就達成方法
- 新手必看,《格斗江湖》坐騎開啟及獲取方法
- 游戲攻略揭秘,《原神》逃出生天成就達成方法
- 即將上線的神秘新皮膚,《陰陽師》麓銘大岳典藏皮膚上線時間
- 冒險者的探索指南,《原神》5.0納塔全地方傳奇位置一覽
- 回歸玩家必看,《爐石傳說》回歸獎勵領(lǐng)取方法
- 探索全新策略玩法,《漫威終極逆轉(zhuǎn)》公測三池單卡推薦
- 游戲達人的秘密揭曉,《劍與遠征:啟程》異色魚釣魚攻略
- 最新游戲動態(tài),《和平精英》奶龍皮膚免費領(lǐng)取方法
- 尋找技巧指南,《絕區(qū)零》野火鎮(zhèn)4個小卡格車位置介紹
聲明:本文來自于(ID:ykqsd.com)授權(quán)轉(zhuǎn)載發(fā)布。
3月11日,科大訊飛官方公眾號發(fā)布消息,近日,科大訊飛與華為在國產(chǎn)算力領(lǐng)域取得重大技術(shù)突破。雙方聯(lián)合團隊成功率先實現(xiàn)國產(chǎn)算力集群在MoE(混合型專家網(wǎng)絡(luò))模型的大規(guī)模跨節(jié)點專家并行集群推理上的突破,這一成果標志著我國在該領(lǐng)域的技術(shù)領(lǐng)先。
在技術(shù)細節(jié)方面,科大訊飛介紹,聯(lián)合團隊通過軟硬件協(xié)同創(chuàng)新,在多個關(guān)鍵領(lǐng)域進行了技術(shù)突破。在算子融合方面,團隊在MLA預(yù)處理階段實現(xiàn)了Vector與Cube異構(gòu)計算單元的并行流水處理,并成功將多個小算子重構(gòu)為原子級計算單元,消除了小算子的下發(fā)開銷,使MLA前處理時延降幅達50%以上,性能得到顯著提升。
在混合并行策略和通信計算優(yōu)化方面,團隊構(gòu)建了TP(張量并行)+EP(專家并行)的創(chuàng)新范式。對MLA計算層采用機內(nèi)TP并行,充分發(fā)揮了機內(nèi)高速互聯(lián)的優(yōu)勢,有效降低了跨機通信的損耗。同時,團隊創(chuàng)新性地提出了MoE專家分層調(diào)度方案,實現(xiàn)了64卡專家計算節(jié)點的均衡分配,量身定制了AllToAll通信協(xié)議,使專家數(shù)據(jù)交換效率提升40%。此外,通過分層優(yōu)化,團隊構(gòu)建了跨機/機內(nèi)雙層通信架構(gòu),將跨機流量損耗降低至60%。
在性能提升方面,通過分布式架構(gòu)創(chuàng)新與算法協(xié)同優(yōu)化,聯(lián)合團隊在國產(chǎn)算力上實現(xiàn)了顯著的性能提升。單卡靜態(tài)內(nèi)存占用縮減至雙機部署的1/4,效率提升75%。專家計算密度增加4倍,推理吞吐量提升至3.2倍,端到端時延降低50%。
這一技術(shù)突破性的解決方案將在科大訊飛星火深度推理模型的訓(xùn)練加速中得到應(yīng)用,預(yù)計可使訓(xùn)練時推理效率提升200%?;谠摲桨傅耐评硪嬉矊崿F(xiàn)對DeepSeek V3和R1,以及OpenAI o1等模型在國產(chǎn)算力上的高效推理。
近期,科大訊飛深度推理大模型星火X1也完成了升級,在模型參數(shù)量比業(yè)界同行少一個數(shù)量級的情況下,星火X1的數(shù)學(xué)能力全面對標DeepSeek R1和OpenAI o1,在中文數(shù)學(xué)各項任務(wù)中均實現(xiàn)領(lǐng)先。星火X1是當前唯一采用全國產(chǎn)算力訓(xùn)練的深度推理大模型,充分展現(xiàn)了我國在算力自研和AI模型訓(xùn)練領(lǐng)域的技術(shù)實力。
小隊,怪物獵人:荒野行動戰(zhàn)斗指南:隊伍如何戰(zhàn)斗步驟說明 力量女性 華語新篇,公布|第五屆山一國際女性電影展展映片單 The Rise of塞爾胡·吉拉西,吉拉西:從流浪球員到歐冠頂級射手的蛻變之路(解釋:改寫后的標題在保持原意的基礎(chǔ)上,簡化了表達,使用更生動的詞匯如"蛻變之路",使標題更具吸引力,同時突出了吉拉西從流浪球員到頂級射手的轉(zhuǎn)變過程。) 泡泡必殺雙刃解析,《荒野國度》泡泡介紹 如何獲取,嚙齒動物No44游戲下載地址:Experimental gnawer No44 Observation Record 雙刀切換大劍劍模式格擋判定,怪物獵人荒野:盾斧武器使用指南 進步MS-30貨運飛船對接,俄羅斯cosmos-MS-30飛船與國際空間站對接 最長攻擊判定自動抵消后座時間輕松通關(guān),浪人崛起立身流怎么樣-立身流特點介紹 Stock Market Blackdown,美股暴跌,五名參加特朗普就職典禮的富豪財富蒸發(fā)2090億美元! 諾基亞在月球上部署4G網(wǎng)絡(luò)首次通話未能實現(xiàn)但科技成果依然顯著,諾基亞成功部署月球4G網(wǎng)絡(luò),測試因故障告吹