日韩人妻av一区二区-精品国产综合区久久久久久蜜臀-色女激情五月激情五月-99热国产这里只有的精品

通過這些分享可以清晰了解DeepSeek是如何最大限度利用GPU能力的。

2月27日，DeepSeek開源周（OpenSourceWeek）第四彈來了，DeepSeek在X上宣布這次開源的是三項(xiàng)優(yōu)化并行策略，并在Github上詳細(xì)展開了DeepSeek-V3和R1模型背后的并行計(jì)算優(yōu)化技術(shù)，通過這些闡述可以清晰了解團(tuán)隊(duì)是如何精細(xì)地優(yōu)化計(jì)算和通信，最大限度利用GPU能力的。

這三項(xiàng)優(yōu)化并行策略其中包括DualPipe，這是一種用于V3/R1模型訓(xùn)練中計(jì)算與通信重疊的雙向流水線并行算法，這種算法能夠完全重疊前向和后向計(jì)算通信階段，與傳統(tǒng)方法相比減少了“流水線氣泡”（設(shè)備在某些時(shí)刻的空閑等待）。 在DualPipe的開發(fā)團(tuán)隊(duì)署名中，包括創(chuàng)始人梁文鋒。

優(yōu)化并行策略第二項(xiàng)是EPLB（Expert Parallelism Load Balancer，專家并行負(fù)載均衡器），它針對(duì)V3/R1模型，解決MoE（混合專家）模型在分布式訓(xùn)練和推理中的負(fù)載不平衡問題。

當(dāng)使用專家并行（EP）時(shí)，不同的專家被分配到不同的GPU。由于不同專家的負(fù)載可能會(huì)根據(jù)當(dāng)前的工作負(fù)載而變化，因此保持不同GPU的負(fù)載平衡非常重要。DeepSeek曾在V3論文中提到，團(tuán)隊(duì)采用冗余專家策略來重復(fù)重載專家，他們創(chuàng)新地將重復(fù)的專家打包到GPU上，以確保不同GPU之間的負(fù)載平衡。

在第三部分， DeepSeek直接分享了來自訓(xùn)練和推理框架的性能分析數(shù)據(jù)，以幫助社區(qū)更好地了解通信計(jì)算重疊策略和低級(jí)實(shí)現(xiàn)細(xì)節(jié)。這些數(shù)據(jù)是用PyTorch Profiler采集的，下載后可以直接在 Chrome或 Edge 瀏覽器中打開，進(jìn)行可視化分析，DeepSeek還模擬了絕對(duì)平衡的MoE 路由策略用于性能分析。

DeepSeek這四天的發(fā)布都與Infra層的算法有關(guān)，分享團(tuán)隊(duì)最大限度利用GPU能力的技術(shù)細(xì)節(jié)。大模型生態(tài)社區(qū)OpenCSG（開放傳神）創(chuàng)始人陳冉此前對(duì)第一財(cái)經(jīng)舉例表示，“相當(dāng)于以前DeepSeek是直接給一輛車，告訴大家這輛車?yán)m(xù)航900公里，但是現(xiàn)在DeepSeek在深挖，用什么方式能夠開到900公里?！盌eepSeek的模型為什么能夠?qū)崿F(xiàn)較好的效果，對(duì)應(yīng)有一些算法和相應(yīng)的框架，而這些“腳手架”的開源有利于之后的生態(tài)搭建。

陳冉判斷，DeepSeek的代碼開源或許會(huì)影響一批做AI Infra層的從業(yè)者，“AI Infra層的人要找新的方向。”但他同時(shí)表示，這種開源是一把雙刃劍，如果能將DeepSeek開源的內(nèi)容用好可能也會(huì)得利，“用不好就被沖擊”。

此前三日，DeepSeek陸續(xù)開源了讓大模型在GPU上跑得更快的MLA解碼核FlashMLA，用于MoE模型訓(xùn)練和推理的DeepEP通信庫，以及可支持MoE的FP8 GEMM代碼庫DeepGEMM。

從GitHub上獲得的星標(biāo)來看，這些項(xiàng)目頗受歡迎，截至發(fā)稿，F(xiàn)lashMLA已在GitHub獲得超過1萬星標(biāo)，DeepEP的星標(biāo)已有6000，DeepGEMM目前超過3700，最新發(fā)布的DualPipe星標(biāo)超過700。

就在昨日，DeepSeek還在海內(nèi)外同時(shí)宣布了API 錯(cuò)峰優(yōu)惠，自2月26日起，北京時(shí)間每日00:30至08:30的夜間空閑時(shí)段，API 調(diào)用價(jià)格大幅下調(diào)：DeepSeek-V3 降至原價(jià)的 50%，DeepSeek-R1 更低至 25%。DeepSeek鼓勵(lì)用戶充分利用這一時(shí)段，享受更經(jīng)濟(jì)更流暢的服務(wù)體驗(yàn)。

另外，也有消息稱，DeepSeek正尋求鞏固自身優(yōu)勢(shì)，盡早推出R2模型，消息提到DeepSeek原本計(jì)劃在5月初發(fā)布R2模型，目前會(huì)加快這一速度。DeepSeek目前并未對(duì)此回應(yīng)。

此前DeepSeek在R1論文中提到，R1 的性能將在下一個(gè)版本得到改善，因?yàn)橄嚓P(guān)的RL（強(qiáng)化學(xué)習(xí)）訓(xùn)練數(shù)據(jù)還很少。隨著RL數(shù)據(jù)的增加，模型解決復(fù)雜推理任務(wù)的能力持續(xù)穩(wěn)定提升，且會(huì)自然涌現(xiàn)出一些復(fù)雜行為能力。

業(yè)界認(rèn)為，DeepSeek-R2的發(fā)布可能是AI行業(yè)的一個(gè)關(guān)鍵節(jié)點(diǎn)。