【摘 要】针对5G网络下的联邦学习架构及关键技术展开研究,通过5G网络的帮助来提升移动终端收集的小样本数据对于训练全局模型的重要意义。从具有不同本地数据集的终端可以加速模型训练和增强模型泛化能力的理论分析入手,详细阐述了如何利用5G系统优势,实现在通信资源约束下选择具有典型特征的终端成员,从而达到联邦学习效果最大化的目的。基于3GPP 5G系统现有架构,提出了支持联邦学习的5G架构以及典型解决方案流程,最后给出了仿真结果,证明了5G网络对于联邦学习具有良好增益。
【关键词】5G;核心网;联邦学习;模型训练
0 引言
随着移动终端上的摄像头和传感器性能的不断提高,越来越多的终端可以被用于收集对AI/ML(Artifact Intelligent/Machine Learning,人工智能/机器学习)模型训练必不可少的有价值的训练数据。对于许多AI/ML任务[1],移动终端收集的小样本数据对于训练全局模型具有重要的意义。传统的对这些移动数据进行训练的方法,是将移动终端采集的训练数据集中到云数据中心(IDC)进行集中训练[2,3]。AI/ML模型训练通常需要大量的数据集和海量的算力资源,训练阶段的资源消耗明显超过推理阶段,因此大多数AI/ML模型的训练任务都是在IDC完成的。即使是这样,在许多情况下,DNN(Deep Neural Network,深度神经网络)模型的训练仍至少需要几个小时到几天[4]。但是,基于云的训练意味着大量的训练数据需要从终端上报到云端,这将带来很大的通信开销,并增大网络侧的数据隐私保护压力。通过联邦学习对AI/ML模型训练任务也可以以“端-云”协调的方式来完成[5],分布