2021-06-30から1日間の記事一覧

分散学習における同期通信コスト削減のための勾配圧縮

こんにちは.株式会社Ridge-iでインターンを務めていますmitsuhiko-nozawaです.本記事では,Gradient Compressionと呼ばれる,分散学習環境下で勾配の通信量を削減する手法について紹介します. なお本記事は@machinery81と@zawatsky_rによってレビューされ…