こんにちは．株式会社Ridge-iでインターンを務めていますmitsuhiko-nozawaです．本記事では，Gradient Compressionと呼ばれる，分散学習環境下で勾配の通信量を削減する手法について紹介します． なお本記事は@machinery81と@zawatsky_rによってレビューされ…