BonsaiBONSAI
事例案例

联邦学习

机器学习模型分布式训练方法研究

周期3个月
机器学习研发分布式系统
联邦学习
−18%
梯度偏差
概要项目概述01

该研究源于将客户的计算资源从一台大型服务器分散到多台小型服务器的设想。由此,客户得到了明确答案:对于该项目,AI模型更适合采用集中式架构还是分布式架构。研究成果已应用于无需集中存储数据的训练任务。

課題核心挑战02

客户端之间数据分布不均(non-IID)导致梯度偏差,节点断开时收敛不稳定。

联邦学习
要点方案要点

我们研究了采用联邦学习方法的可行性,以及在不同数据批处理方式下改进梯度聚合算法的方案。研究结果已由莫斯科物理技术学院(MIPT)数学优化方法实验室的研究人员验证。

工程实施过程03
  1. 0101

    架构研究

    分析现有的联邦学习与分布式机器学习方法。

  2. 0202

    算法设计

    设计梯度聚合与元数据更新方案。

  3. 0303

    实现UGA/FedMeta

    集成无偏聚合方法与元学习(meta-learning)方法。

  4. 0404

    分布式训练

    配置节点与本地模型之间的交互。

  5. 0505

    模型质量评估

    测试分布式训练的稳定性与准确率。

  6. 0606

    成果整理

    分析性能,并整理研究结论。

成果成果04
−18%梯度偏差
+12%收敛稳定性
8+实验节点数
記録项目图集05
技術技术栈
  • 01Python
  • 02PyTorch
  • 03Flower
  • 04NumPy
  • 05机器学习
  • 06去中心化系统
  • 07Docker
  • 08gRPC

有类似需求?

我们将在5个工作日内完成沟通与评估。

洽谈项目