概要项目概述01
该研究源于将客户的计算资源从一台大型服务器分散到多台小型服务器的设想。由此,客户得到了明确答案:对于该项目,AI模型更适合采用集中式架构还是分布式架构。研究成果已应用于无需集中存储数据的训练任务。
課題核心挑战02
客户端之间数据分布不均(non-IID)导致梯度偏差,节点断开时收敛不稳定。

要点方案要点
我们研究了采用联邦学习方法的可行性,以及在不同数据批处理方式下改进梯度聚合算法的方案。研究结果已由莫斯科物理技术学院(MIPT)数学优化方法实验室的研究人员验证。
工程实施过程03
- 0101
架构研究
分析现有的联邦学习与分布式机器学习方法。
- 0202
算法设计
设计梯度聚合与元数据更新方案。
- 0303
实现UGA/FedMeta
集成无偏聚合方法与元学习(meta-learning)方法。
- 0404
分布式训练
配置节点与本地模型之间的交互。
- 0505
模型质量评估
测试分布式训练的稳定性与准确率。
- 0606
成果整理
分析性能,并整理研究结论。
成果成果04
−18%梯度偏差
+12%收敛稳定性
8+实验节点数
記録项目图集05
技術技术栈
- 01Python
- 02PyTorch
- 03Flower
- 04NumPy
- 05机器学习
- 06去中心化系统
- 07Docker
- 08gRPC
有类似需求?
我们将在5个工作日内完成沟通与评估。
