日韩人妻av一区二区-精品国产综合区久久久久久蜜臀-色女激情五月激情五月-99热国产这里只有的精品

3月10日，字節(jié)豆包大模型團(tuán)隊(duì)官宣開源一項(xiàng)針對(duì)MoE架構(gòu)的關(guān)鍵優(yōu)化技術(shù)，可將大模型訓(xùn)練效率提升1.7倍，成本節(jié)省40%。

據(jù)悉，該技術(shù)已實(shí)際應(yīng)用于字節(jié)的萬卡集群訓(xùn)練，累計(jì)幫助節(jié)省了數(shù)百萬GPU小時(shí)訓(xùn)練算力。

入選頂級(jí)會(huì)議MLSys 2025

據(jù)了解，MoE是當(dāng)前大模型的主流架構(gòu)，但其在分布式訓(xùn)練中存在大量跨設(shè)備通信開銷，嚴(yán)重制約了大模型訓(xùn)練效率和成本。以海外主流模型Mixtral-8x7B為例，其訓(xùn)練過程中通信時(shí)間占比可高達(dá)40%。

針對(duì)這一難題，字節(jié)在內(nèi)部研發(fā)了COMET計(jì)算-通信重疊技術(shù)，通過多項(xiàng)創(chuàng)新，大幅壓縮了MoE專家通信空轉(zhuǎn)時(shí)間。

相較DeepSeek近期開源的DualPipe等MoE優(yōu)化方案，COMET可以像插件一樣直接接入已有的MoE訓(xùn)練框架，支持業(yè)界絕大部分主流大模型，無需對(duì)訓(xùn)練框架進(jìn)行侵入式改動(dòng)。該工作以5/5/5/4的高分入選全球機(jī)器學(xué)習(xí)系統(tǒng)頂級(jí)會(huì)議MLSys 2025 ，被認(rèn)為“在大規(guī)模生產(chǎn)環(huán)境中極具應(yīng)用潛力”。

COMET與Deepseek研發(fā)的DualPipe方案還可以聯(lián)合使用。在降低MoE通信開銷上，COMET采用了計(jì)算-通信融合算子的優(yōu)化方式，DualPipe則通過排布算子來掩蓋通信，兩種方案并不沖突，結(jié)合使用或?qū)⒏蠓葔嚎s模型訓(xùn)練成本。

目前，COMET支持多種MoE并行模式，部署靈活、方便。同時(shí)，COMET核心代碼已開源，并向開發(fā)者提供了一套友好的Python API，計(jì)劃兼容Triton等編譯生態(tài)。

近期國(guó)內(nèi)大模型研發(fā)技術(shù)快速獲得突破，相關(guān)APP下載量也迅速增長(zhǎng)。下載量排名成為外界觀察各家大模型實(shí)用能力最直接的窗口。截至發(fā)稿，DeepSeek在中國(guó)區(qū)蘋果應(yīng)用商店免費(fèi)APP下載排行榜首，第二名是豆包，第三名是騰訊元寶。

最新辟謠

3月10日，寒武紀(jì)（688256.SH）股價(jià)午后出現(xiàn)拉升，一度漲超5%，收漲3.87%，報(bào)779元/股，總市值3252億元。

有市場(chǎng)消息稱，字節(jié)跳動(dòng)向寒武紀(jì)下單4萬顆580芯片，單價(jià)2.5萬元，總價(jià)值合計(jì)10億元。

對(duì)此，字節(jié)跳動(dòng)相關(guān)負(fù)責(zé)人表示，消息不實(shí)。

近期一度大火的Manus也傳曾婉拒字節(jié)的投資。

據(jù)報(bào)道，開發(fā)出Manus的中國(guó)創(chuàng)業(yè)公司——Monica，在2024年年初曾經(jīng)與字節(jié)進(jìn)行過一輪收購談判。當(dāng)時(shí)字節(jié)出價(jià)3000萬美元，但因?yàn)檫h(yuǎn)遠(yuǎn)達(dá)不到創(chuàng)始人肖弘的心理價(jià)位，這次談判最終不歡而散。

接近Monica內(nèi)部的從業(yè)者表示，字節(jié)收購的邏輯是以3000萬美金的價(jià)格收購團(tuán)隊(duì)，將其團(tuán)隊(duì)和產(chǎn)品整合到豆包體系中，但是Monica進(jìn)入字節(jié)后就會(huì)跟字節(jié)大模型戰(zhàn)略綁定，就喪失了Monica產(chǎn)品上的獨(dú)特優(yōu)勢(shì)。這也是肖弘及其團(tuán)隊(duì)不看好這場(chǎng)收購的主要原因。目前Monica估值接近1億美元。

對(duì)此，截至目前，字節(jié)跳動(dòng)并未給予回應(yīng)。

傳抖音將接入豆包大模型

近期有消息稱，抖音App正在測(cè)試接入豆包App的AI能力，為用戶帶來更加豐富多元的智能體驗(yàn)。

在測(cè)試版本中，抖音為豆包App開放了兩個(gè)超級(jí)入口：一個(gè)置于短視頻界面，與點(diǎn)贊、評(píng)論、轉(zhuǎn)發(fā)等功能并列；另一個(gè)則放在抖音的消息列表內(nèi)，使AI技術(shù)與社交功能深度融合，進(jìn)一步強(qiáng)化了用戶互動(dòng)體驗(yàn)。

此前，豆包App雖然具備對(duì)話、創(chuàng)作及圖像生成等功能，但用戶需要離開抖音App才能使用，這在一定程度上，也限制了豆包大模型的使用頻率。

而通過將豆包直接嵌入抖音的兩個(gè)重要入口，抖音App將直接打通豆包大模型中成熟的AI功能，用戶無需跳轉(zhuǎn)即可使用AI服務(wù)，這不僅能強(qiáng)化抖音自身的AI能力，實(shí)現(xiàn)流量與功能的深度綁定，還能通過抖音龐大的用戶基數(shù)為豆包導(dǎo)流，推動(dòng)“AI生態(tài)閉環(huán)”的建設(shè)。

此外，抖音接入豆包還可以延長(zhǎng)用戶在抖音的停留時(shí)間，增加流量和用戶粘性，為廣告、電商等傳統(tǒng)業(yè)務(wù)提供更大空間。