本發(fā)明涉及一種分布式深度學(xué)習的通信優(yōu)化方法及系統。該方法包括:1)對于分布式深度學(xué)習的訓練過(guò)程中各計算節點(diǎn)產(chǎn)生的梯度,采用稀疏化方法選取部分梯度值;2)對采用稀疏化方法選取的部分梯度值進(jìn)行量化,將量化后的梯度值作為梯度通信的傳輸對象,傳輸給參數服務(wù)器。本發(fā)明提出了梯度的稀疏化傳遞和量化壓縮的結合,并且針對訓練過(guò)程中的不同特點(diǎn)劃分了三個(gè)不同的訓練階段,根據不同的訓練狀況進(jìn)行調整,將梯度壓縮的效果進(jìn)一步提升,提高了分布式場(chǎng)景下的訓練效率,并且沒(méi)有對收斂性能和模型的精度產(chǎn)生明顯的負面影響。
- 網(wǎng)站首頁(yè)Home
-
新聞資訊
News
歡迎訪(fǎng)問(wèn)我們網(wǎng)站
-
科技資源
Resources
-
科技服務(wù)
Service
-
交易公示
Publicity
-
合作伙伴
Partner
-
我要發(fā)布
Release
-
風(fēng)采大廳
Events
-
聯(lián)系我們
Contact
江蘇淮海技術(shù)產(chǎn)權交易中心是由江蘇淮?？萍汲?、徐州市科技局和中國礦業(yè)大學(xué)國家大學(xué)科技園聯(lián)合出資設立的，專(zhuān)業(yè)從事技術(shù)成果轉化、轉移與技術(shù)產(chǎn)權交易的服務(wù)機構。
發(fā)明專(zhuān)利
-
專(zhuān)利名稱(chēng)：一種分布式深度學(xué)習的通信優(yōu)化方法及系統專(zhuān)利類(lèi)型：發(fā)明專(zhuān)利專(zhuān)利號：CN201910035739.9發(fā)布日期：2025-12-19授權公告日：
-
詳細內容
掃描訪(fǎng)問(wèn)手機版 科技與知識產(chǎn)權
友情鏈接
關(guān)于我們
電話(huà)：0516-83896168 傳真：0516-83896168 郵箱：jshtec@163.com 網(wǎng)址：www.jshtec.com 地址：江蘇徐州市金山東路中國礦業(yè)大學(xué)國家大學(xué)科技園科技大廈
