本文已被：浏览 1758次 下载 645次
投稿时间：2020-03-18
投稿时间：2020-03-18
中文摘要: 与传统的分布式计算不同，分布式机器学习更加关注参数同步和梯度同步，网络通信是最大的瓶颈。许多研究者针对网络问题提出了多种解决方法。首先介绍了机器学习领域内最热门的深度神经网络的发展背景，然后分别对数据并行模型中参数同步步调和参数同步方法进行了详细的概述，最后对分布式机器学习的发展趋势和面临的挑战进行了讨论。
Abstract:Different from traditional distributed computing,distributed machine learning focuses more on parameter synchronization and gradient synchronization,and network communication is its biggest bottlenecks.This paper first introduces the development background of deep neural network,and then gives a detailed overview of parameter synchronization steps and methods in the data parallel model.Finally,the development trend and challenges of distributed deep learning are discussed.
文章编号：20215015 中图分类号：TP316.4 文献标志码：
基金项目:
引用文本：
杜海舟,黄晟.分布式机器学习中的通信机制研究综述[J].上海电力大学学报,2021,37(5):496-500,511.
DU Haizhou,HUANG Sheng.An Overview of Distributed Machine Learning Data Parallel Communication Mechanism[J].Journal of Shanghai University of Electric Power,2021,37(5):496-500,511.
杜海舟,黄晟.分布式机器学习中的通信机制研究综述[J].上海电力大学学报,2021,37(5):496-500,511.
DU Haizhou,HUANG Sheng.An Overview of Distributed Machine Learning Data Parallel Communication Mechanism[J].Journal of Shanghai University of Electric Power,2021,37(5):496-500,511.