分布式梯度下降

分布式梯度下降（distributed gradient descent method），理学-统计学-大数据统计分析-联邦学习-分布式梯度下降，分布式框架下梯度下降类算法，其属于一阶最优化算法范畴。在大数据时代，为了更好地进行数据分析和处理，在存储方面需要将海量的数据随机分割为多个小块，分别存储在不同机器上。有些数据集由于地理位置、时间等自然属性，其本身是分布式存储。当使用模型对这些数据进行分析时，需要设计分布式优化算法。在这些算法中，分布式梯度下降法备受青睐。与梯度下降法一样，其沿着目标函数的负梯度方向不断更新模型参数到达目标函数的极小值点。分布式梯度下降法主要有三种算法，全量梯度下降法、随机梯度下降法和小批量梯度下降法。它们不同之处在于每次学习（更新模型参数）使用的样本个数，每次更新使用不同的样本会导致每次学习的准确性和学习时间不同。小批量梯度下降法综合了全量梯度下降法与随机梯度下降法，在每次更新速度与更新次数中间取得一个平衡。