联邦学习两种公平性综述

研一上寒假导师让写的论文综述，去掉引用，东拼西凑也有八千字。正好分享到csdn上，希望对联邦学习的同行有一点点帮助~

0.摘要

随着人工智能快速发展，私人企业数据指数级增大以及人们对数据隐私安全意识的提高，如何解决数据孤岛和数据隐私成为AI面临的两大挑战。联邦学习作为新兴的分布式机器学习技术，成为解决这一挑战的方案。然而，联邦学习也面临很多挑战和问题，其中实现公平性激励客户端参加联邦训练，近两年引起广泛关注。**由于参与的客户端是自利的，彼此之间存在计算通信资源、数据等差异，如何最大程度激励客户端，合理分配奖励，促进联邦参与者的积极性，对联邦学习可持续发展非常重要。**本文从两个角度阐释联邦学习公平性，对现有公平激励机制研究进行归纳总结，由此诞生小论文的开题思路，最后提出未来研究方向和总结。

1.前言

1.1联邦学习诞生背景

2018年欧盟颁布了隐私法规《通用数据保护条例》( GDPR) ，越来越多的企业和单位对于个人敏感信息提起高度重视。2020年我国颁布《信息安全技术个人信息安全规范》和《个人信息保护法》，2022年《美国数据隐私和保护法》ADPPA，这些法规的制定旨在保护用户个人隐私和规整行业数据的处理规范。

数据隐私保护越来越受到重视。 公司和机构之间的数据收集过程必须公开透明，属于一个用户或公司的数据未经用户授权不得与他人交换。 这导致海量数据以“数据孤岛”的形式存在，隐私安全和数据共享之间存在着不可协调的矛盾，用户之间缺乏有效的沟通与合作，使得人工智能的成功实施遇到困难。

1.2联邦学习简介

为了解决以上问题，2016年谷歌提出了联邦学习。作为一款新兴的分布式机器学习技术，联邦学习实现了“数据不动，模型动”的要求，参与者无需将本地私人数据上传至中心服务器，只需上传本地训练的模型参数，允许参与者代更新参数模型来协作训练共享模型，避免了数据隐私，解决了数据孤岛。

联邦学习的训练过程：

1、初始化；服务器选择合适的客户端，将模型参数分发给选定客户端。

2、本地训练；选定的客户端使用本地数据和收到的全局模型参数更新本地模型参数。

3、本地上传；将更新的模型参数上传到服务器。

4、全局聚合；服务器收到各个客户端上传的模型参数并进行聚合。

5、模型更新；将最新的全局模型参数和奖励分发给最新选定的客户端

重复步骤2-5，直到全局模型收敛到一定要求，达到预期性能。

1.3研究意义及动机

FL全局模型的精确性依赖于多个稳定且高质量的客户端参与，但客户端之间数据质量不平衡的问题会导致在训练过程中客户端处于不公平地位甚至直接不参与训练。同时FL会消耗参与者大量资源，且有隐私安全的威胁，如果得不到足够的回报，参与者缺乏参加FL的动力，参与者可以决定何时、何地以及如何参与FL。如何激励客户端积极参与FL训练，是保证FL被广泛推广和应用的关键。

FL动机有以下三点：

（1）FL可持续发展，不能打击参与者的积极性

（2）FL参与者是自利的，要求获得激励

（3）社会伦理要求部署的模型要求不歧视某些个人或群体

对于前两个动机，弱势客户要求全局模型在该方取得的效用不得显著低于其他方，强势客户倾向于获得与自己付出相匹配的模型效用或其他激励。前者要求模型在客户端间的表现均衡、不偏向某一数据方，是均衡公平性。后者允许模型表现差异的存在，但追求对各方贡献的准确评估并指导后续利益分配，是贡献公平性。而动机（3）需要跨越客户端间阻隔，保证模型对分散于所有客户端上的特定属性样本群体没有歧视，是模型公平性，个性化技术可能是实现这一要求的关键。

2.联邦学习公平性

2.1 贡献公平性

弱势客户端要求的均衡公平性更注重结果公平，要求最终模型在不同客户端上的表现尽可能相近，不能存在“分配不均”的现象。然而不同贡献的客户端最终收到相同的FL模型，这势必引起高贡献客户端的不满，且存在搭便车问题，影响联邦学习可持续发展。

为了解决这一问题，要求在不获取客户端本地数据的前提下，公平衡量每个客户端对全局模型的贡献。现有衡量客户端贡献的技术包括Shapley值，区块链，契约机制，声誉，博弈论，拍卖机制等，或采用强化学习、区块链等一些前沿技术作为节点选择、贡献评估和鲁棒性提升的辅助机制。本节从贡献测量、资源分配和声誉机制三方面展开，

2.1.1 贡献测量

贡献测量通常采用Shapley值，而报酬分配多涉及Stackelberg博弈、拍卖、契约理论等。在机器学习中，基于Shapley值的测量方法经常被用于评估数据对模型的性能，但计算Shapley值带来大量额外计算，Shapley值的计算复杂度达到O(N!）

于是，基于Shapley值的概念，《2019-IEEE-Profit allocation for federated learning》定义了贡献指数CI，通过本地数据集、机器学习算法和测试集等因素，量化数据提供者的贡献。提出了两种基于梯度的方法——单轮重建OR和多轮重建MR，通过训练过程的中间结果，在不同数据集组合上近似重构模型，从而衡量水平联邦学习的贡献。第一种方法单轮重建OR，收集不同轮次的梯度，在最后一轮更新FL的初始全局模型来重构模型，通过重构模型的性能计算贡献指数。第二种方法多轮重建MR，通过使用不同轮次的梯度更新前一轮的全局模型来计算每轮的贡献指数，将多轮贡献指数按照权重聚合，得到最后的贡献指数。这两种方法只需记录训练过程的中间结果，通过局部梯度计算贡献指数，而不是对每个模型进行训练。有效逼近准确的贡献指数，合理分配利润，且训练时间短，但只适用于水平联邦学习。

《2019-IEEE-Measure Contribution of Participants in Federated Learning》提出了水平联邦学习的删除方法和垂直联邦学习的Shapley值方法，计算参与者在FL中的贡献。在水平FL中，每次删除某一方参与者的实例重新训练模型，计算新模型和未删除前原始模型的差距，用删除前后的差异测量某一方参与者对全局模型的影响，从而衡量参与者的贡献。在垂直FL中，使用 Shapley 值来计算分组特征的重要性，用重要性的度量计算每一方的贡献。这种方法可以合理解释多个参与者的贡献，但是计算成本很高，达到O（N^2），计算成本随着训练数据的大小呈指数增长。《2020-IEEE-Estimation of individual device contributions for incentivizing federated learning》 提出了一种基于逐步计算的轻量级多维度贡献方法，把客户端加入FL训练时全局模型性能上的提升视为衡量客户贡献的指标，从而减少通信和计算开销，然而这要求每一轮迭代全局模型性能都提升。

2.1.2 资源分配

新客户加入FL训练时，为全局模型带来的增益不能立即得到，于是客户的贡献可以根据其资源条件进行预先估计，例如本地数据集的数量、质量和收集成本，以及联邦学习过程中约定付出的算力与流量份额。

对于特定学习任务（分类或回归），基于Shapley值的分配是不公平的，因此《2020-Hierarchically fair federated learning》提出了分层公平联邦学习框架HFFL，通过可公开验证因素如数据质量、数据量、数据收集成本等，把参与的客户端划分为多个等级，相同等级被视为同等贡献，贡献越高等级越高，不同等级收敛至不同模型。在训练一个较低级别的模型时，较高级别的客户端只提供与较低级别的客户端相同数量的数据；在训练更高级别的 FL 模型时，则要求较低级别的客户端提供所有本地数据。《基于数据质量评估的公平联邦学习方案》则是基于用户的数据数量和用户的数据质量，提出一种基于数据质量评估的公平联邦学习方案，使用熵权法根据数据的数量和质量计算用户得分视为用户的贡献，从而分配参与者聚合权重实现公平。该方法通信开销更少，模型更快达到收敛。

相比为每个级别训练模型的HFFL， 《2020-IEEE-Towards Fair and Privacy-Preserving Federated Deep Models》出了一种分散的公平和隐私保护深度学习（FPPDL）框架，鼓励参与者通过把自己的信息分享给其他参与者获得积分，然后用赚来的积分交换其他参与者的信息。参与者上传更多梯度信息获得更多积分，就能用积分从其他参与者那里获得更多梯度信息，所有的交易记录公开透明由区块链记录，并且提出了三层洋葱加密方案保护梯度隐私。每个参与者基于各自贡献受到全局模型不同等级的变体模型。《2019-IEEE-Incentive design for efficient federated learning in mobile networks:A contract theoryapproach》提出了基于契约理论的激励机制。本地数据的质量越高，局部模型训练越快，参与者能获得更多回报。《2019-IEEE-Motivating workers in federated learning: A stackelberg game perspective》提出一种设备与模型的Stackelberg博弈模型，模型所有者激励拥有设备的工人为本地训练分配更多CPU计算资源，以实现快速收敛。《2021-IEEE-An incentive mechanism for federated learning in wireless cellular network: An auction approach》提出一种基站和多个移动用户的拍卖博弈方，移动用户作为卖方，基于自身资源和本地精度做出最优决策，使能量消耗最小。基站根据用户的投标信息，选择最适合的人选，以最大化社会福利。提出了一种原始-对偶贪心算法解决这类NP问题。

《2020-IEEE-FMore: An Incentive Scheme of Multi-dimensional Auction for Federated Learning in MEC》提出了一个基于多维采购拍卖的激励机制FMore。聚合器向参与者广播竞标要求，参与者收到竞标要求后，根据自身资源和期望预算决定是否竞标，然后聚合器按照分数从大到小选出K个获胜者。FMore是轻量级框架，兼容性好，计算和通信的开销低。《2021-IEEE-FAIR: Quality-Aware Federated Learning with Precise User Incentive and Model Aggregation》提出了一种质量感知拍卖方法，将获胜者选择问题描述为一个 NP 难的学习质量最大化问题，并基于迈尔森定理设计了一个贪婪算法来执行实时任务分配和报酬分配。

2.1.3 声誉机制

《2020-Collaborative fairness in federated learning》提出了公平协作联邦学习框架CFFL，服务器根据参与者上传的梯度评估其准确性，通过规范化计算每轮参与者的声誉，基于每轮计算的声誉及其历史声誉分别迭代更新每个参与者的声誉，最后通过声誉使参与者收敛至不同模型实现公平性，CFFL实现较高的公平性，但未考虑鲁棒性。《2020-Mobile edge computing blockchain and reputation-based crowdsourcing iot federated learning: A secure, decentralized and privacy-preserving system》提出一个基于区块链的声誉系统，一开始所有客户的声誉值相同，客户成功上传模型，声誉值会增加，如果上传恶意参数，声誉值则减小。服务器会根据声誉值选择可靠的客户，高声誉值客户更容易被选中获得更多奖励。《2020-IEEE-Towards blockchain-based reputation-aware federated learning》提出了一个基于区块链的信誉系统，搭建了数据拥有者边缘设备、数据仲裁者雾节点和模型所有者云服务器的三层协作框架，云服务器将更新的模型发给雾节点，雾节点再把更新的本地模型发给边缘设备，通过智能合约对联邦学习中每个参与者的声誉进行聚合、计算和记录。该系统保证了隐私安全，保证用户提供真实的数据，但模型复杂度高、计算和通信成本高。

但是，评分机制过于主观，缺乏质量评价方案；每个参与者只有一个分数容易受到恶意评分。《2020-IEEE-Reliable federated learning for mobile networks》采用多权重主观逻辑模型，根据参与者的历史表现和其他参与者的推荐计算声誉，设计区块链管理、记录数据所有者的声誉。

2.2 均衡公平性

联邦学习虽然能保护数据隐私，但面临数据异构性的难题，即客户之间的数据分布差异很大，导致全局模型很难满足所有客户的最优性能，只能趋近于集中训练模型的最优性能。而且现实中训练结果往往受数据强势方引导，对强势方有利，数据劣势方表现不加。为了消除这种不公平，提出了客户间的均衡公平性。我们从FL训练流程中得到启发——服务器会随机选择客户端，被选中的客户端才会参与本地更新和模型上传，服务器根据权重聚合全局模型。

所以，我们可以从客户选择、权重聚合和本地更新三方面入手，通过关注数据劣势方代表不足、公平分配聚合权重和训练个性化本地模型提高全局模型，使数据所有者有机会、有权重、有个性地参与联邦训练，实现均衡公平性。

常见衡量公平性的标准有三种：

（1）标准差

对于任意两个模型$w_1和w_2$ ，比较二者在N个客户端上的测试损失的标准差，若 s t d ( { L n ( w 1 ) } n ∈ [ N ] ) < s t d ( { L n ( w 2 ) } n ∈ [ N ] ) std(\{L_n(w_1)\}_{n\in[N]}) < std(\{L_n(w_2)\}_{n\in[N]}) std({Ln​(w1​)}n∈[N]​)<std({Ln​(w2​)}n∈[N]​)，则认为模型$w_1比w_2$更公平

（2）基尼指数

对于任意两个模型𝑤1与𝑤2，比较二者在N个客户端上的测试损失的基尼系数，若有 G i n i ( { L n ( w 1 ) } n ∈ [ N ] ) < G i n i ( { L n ( w 2 ) } n ∈ [ N ] ) Gini(\{L_n(w_1)\}_{n\in[N]}) < Gini(\{L_n(w_2)\}_{n\in[N]}) Gini({Ln​(w1​)}n∈[N]​)<Gini({Ln​(w2​)}n∈[N]​)，则认为模型$w_1比w_2$更公平。

其中 G i n i ( { L n ( w 1 ) } n ∈ [ N ] ) = ∑ i = 1 N ∑ j = 1 N ∣ L i ( w 2 ) − L j ( w 1 ) ∣ 2 N 2 μ , μ = 1 N ∑ n = 1 N L n ( w 1 ) Gini(\{L_n(w_1)\}_{n\in[N]}) = \frac{\sum_{i=1}^N\sum_{j=1}^N|L_i(w_2)-L_j(w_1)|}{2N^2\mu},\mu=\frac{1}{N}\sum_{n=1}^NL_n(w_1) Gini({Ln​(w1​)}n∈[N]​)=2N2μ∑i=1N​∑j=1N​∣Li​(w2​)−Lj​(w1​)∣​,μ=N1​∑n=1N​Ln​(w1​)

（3）Jain公平指数

若将联邦学习中的全局模型作为一种资源，其在N个参与者本地数据集上的准确率分布组
成向量𝒙，则其 Jain 公平指数（Jain’s Index）可由$J(x)=({\sum }_{i=1}^N{x}_i{)}^2/(N{\sum }_{i=1}^N)x_i^2$计算得到

2.2.1 客户选择

联邦学习训练流程中，选择客户是重要环节，服务器倾向选择数据质量高、资源充足的客户端，数据强势方更容易被选择，最终训练的全局模型也会偏向强势方。虽然保证总收益最大，但资源匮乏的数据劣势方被忽略对它们不公平。

为减轻对计算能力较低或数据集较小的 FL 客户端的偏见，《2021-IEEE-Federated Learning with Class Imbalance Reduction》考虑参与频率，允许不经常被选择的客户更频繁地参与培训。《10，An Efficiency-Boosting Client Selection Scheme forFederated Learning With Fairness Guarantee》提出RBCS-F算法要求每个客户端被选中的概率长期来看不能低于一个阈值。考虑到设备之间通信资源、计算能力差异大，《2019-ICC-Client Selection for Federated Learning with Heterogeneous Resources in Mobile Edge》提出了FedCS解决资源约束客户端的选择问题。要求客户端在选择阶段告知资源信息，根据此信息选择客户，保证尽可能多的客户被选到，达到综合考虑客户端机会公平和结果公平的目的。考虑到网速较慢的客户频繁重传可能会导致 FL模型训练的额外延迟，导致来自通信渠道较差的客户的模型更新不太可能被聚合到最终的模型中，从而导致模型偏差《2021-Loss Tolerant Federated Learning》提出了一个可容损的 FL框架ThrowRightAway (TRA)，认为丢包不总是有害的，选择时客户端报告网络状况，可以有意忽略一些数据包的丢失，从而接纳低带宽设备的数据上传，加速FL训练。但环境理想，客户端必须准略评估资源状况并诚实报告。

避免欠采样客户端代表不足的另一个思路是本地补偿。《2020-IEEE-Intermittent Pulling with Local Compensation for Communication-Efficient Federated Learning》提出了一个带本地补偿的新方法 Pulling Reduction（PRLC），基于联邦学习达成端到端的通信。没被选择的客户端通过 PRLC 在本地更新以减少与全局模型之间的差距。客户选择的目的是效用最大化，效用最大化主要依靠优化不同客户之间动态的资源分配问题。《2020-GLOBECOM-Trading data for learning:Incentive mechanism for on-device federated learning》采用博弈论将ＦＬ中的服务器和用户效用最大化问题建模为两阶段的Stackelberg 博弈。该方案通过求解Stackelberg 均衡推导出服务器和用户的最佳策略，从而选择最有可能提供可靠隐私数据的用户进行补偿。

2.2.2 权重重新分配

《2019-ICML-Agnostic Federated Learning》关注性能最差的设备，提出基于Min-max 损失函数的AFL方法，防止模型对任何特定客户的过度拟合而牺牲其他客户的利益，来实现公平概念。但只针对最差客户的性能，AFL适用于小规模客户。《2022-IEEE-FedMGDA+: Federated Learning meets Multi-objective Optimization》同样关注性能最差的设备，为了兼顾公平性和鲁棒性，提出了 FedMGDA+方法。通过修改参与者梯度合并的权重来改进联邦模型公平性。多目标优化更关心当前模型在所有参与者的结果，它使用帕累托稳定（Pareto-stationary）解决方案。《2021-NIPS-Addressing Algorithmic Disparity and Performance Inconsistency in Federated Learning》提出了一种新的基于梯度约束的多目标优化方法FCFL来克服基于梯度约束的多目标优化中偏好方向上的差异和不一致性问题。使用了一个考虑所有客户端优化目标的平滑代理最大值函数，而非仅考虑最差客户端，由此使得客户端之间的性能更加一致。

《2019-Fair Resource Allocation in Federated Learning》在AFL的基础上，提出了q-FFL方法，引入q参数化的权重，使损失多的设备权重更大，减小准确率方差，实现公平分布。当参数q为0时，q-FFL就变成了FedAvg，当参数q趋于无穷大时，q-FFL变成AFL方法，通过q参数化动态权衡公平性和准确率。然而该方法不能提前确定最佳的q值，很难在数据异构情况下收敛。针对 q-FFL 无法提前确定最佳参数的问题，【2022-一种联邦学习中的公平资源分配方案】提出了 α-FedAvg 算法，引入Jain’s 指数度量公平，通过改变参数α的取值实现系统公平和效用的平衡，。该方法可以减少参与者之间准确率的方差，通过算法在训练之前确定参数 α 的值。《2022-ICASSP-A Dynamic Reweighting Strategy For Fair Federated Learning》提出将 q-FFL 中的损失放大机制替换为简单的权重再分配机制，通过为损失高的客户端分配更大的权重来增加对这些客户端的惩罚，减小了 q 值的调整难度。《2021-ICLR-Tilted Empirical Risk Minimization》通过经验风险最小化调整设备的权重，以实现灵活的公平性/准确性权衡。

但以上方法假设客户端是诚实的，如果客户端恶意夸大损失，会导致全局模型性能下降

《2022-IEEE-TrustFed: A Framework for Fair and Trustworthy Cross-Device Federated Learning in IIoT》提出将区块链作为训练网络中分散的训练实体，提出一个完全去中心化的跨设备 FL系统 TrustFed。《25，基于区块链的公平性联邦学习模型》同样利用了区块链的去中心化、不可篡改性以及智能合约的特点，利用区块链的共识机制选择信用值最高的区块进行模型聚合，降低参数在传输过程中所面临的安全风险。

2.2.3 个性化

由于客户端之间的数据分布差异很大，这种数据异构性决定了模型性能分布不均匀，可能会出现仅用本地数据训练的模型性能好于全局模型，因此需要采用一种个性化方法使得全局模型对每个客户进行优化。现有联邦学习个性化技术《2020-IEEE-Survey of Personalization Techniques for Federated Learning》包括多任务学习《2017-NIPSFederated Multi-Task Learning》，基础层+个性化层《2019-Federated learning with personalization layers》，全局和局部模型的混合《2020-Federated learning of a mixture of global and local models》，元学习《2019-Improving federated learning personalization via model agnostic meta learning》，知识蒸馏《2020-Salvaging federated learning by local adaptation》，迁移学习和添加用户上下文。

《2020-Federated Optimization in Heterogeneous Networks》提出的 FedProx 允许每个客户端根据其可用资源执行部分训练。引入了一个由本地模型与全局模型之间距离平方项构成的约束项，通过鼓励局部更新趋向于全局模型来获取更高质量的局部更新，提高训练的稳定性。

针对较复杂模型以较大梯度进行本地训练时容易发生的发散情况，可以尝试减少子模型复杂度。《2018-Expanding the Reach of Federated Learning by Reducing Client Resource Requirements》提出了联邦暂退方法(FederatedDropout, FD)，根据每个 FL 客户端本地计算资源量的不同来设计不同的简化版子模型，客户端更新的模型由 FL 服务器重新构建并聚合形成全局模型。该方法实现难点在于确定合适的联邦暂退率过程中会产生额外成本。于是《2021-IEEE-Adaptive Federated Dropout: Improving Communication Efficiency and Generalization for Federated Learning》提出了自适应联邦暂退法 (adaptive federated dropout, AFD)，它记录并维护一个激活分数图，用于选择一组重要的激活节点来生成最适合每个客户端的子模型，从而加快收敛速度并减少准确性损失。

同样为了防止模型聚合发散，《2021-ICML-Ditto: Fair and Robust Federated Learning Through Personalization》提出的Ditto 则采用了多任务学习的思想，在以FedAvg 方法训练的全局模型之外，每轮每个被选中的客户端都会使用本地数据，并且使用与 FedProx 类似的、本地模型与全局模型的距离平方作为近端正则项额外训练一套本地模型，在保证了模型不发散的同时能够获得较具代表性的个性化模型。由于可以附加在 FedAvg 方法上，Ditto 可以较为方便地应用于现有模型的改造。并且由于直接使用本地模型进行推理，Ditto 能够有效抵御恶意客户端对全局模型造成的污染问题，增强了方法的鲁棒性，其弊端是同时更新全局与众多本地模型带来了计算开销上的增加。

4.总结和未来展望

总结，我们把联邦学习的公平性分成两种，一种是贡献公平性，按照参与者的贡献给予相应奖励，让数据强势方感到公平；另一种是均衡公平性，尽可能让每个客户端都有机会参加联邦模型训练，让数据劣势方感到公平。

对于贡献公平性，我们可以直接计算参与者的贡献，按照贡献分配奖励，实现公平性，然而计算贡献值会带来额外计算，基于Shpaley值的贡献测量方法计算成本大。于是我们提出了资源分配方法，通过数据拥有者的本地数据集数量、质量和收集成本等视预估客户的贡献，使用拍卖机制或Stackelberg博弈实现贡献公平性。同时把参与者对全局模型的效果用声誉量化，声誉高的客户对全局模型更有益，更容易被选择。

对于均衡公平性，我们强调每个客户端都能公平地参与联邦训练，尤其是数据弱势方。从客户选择、权重分配和个性化三方面实现均衡公平性：客户选择机制让每个客户端都有机会参与全局模型训练；对损失大的参与者或被过分代表的弱势方，我们给予更高的聚合权重作为补偿；个性化技术让每个客户端可以根据自身情况对最终的模型个性化处理。

总结了联邦学习公平性三个未来的方向：

1、减少计算成本。Shapley值、区块链、拍卖机制等技术需要额外的计算和通信资源，这对资源受限的客户端不友好。未来应该平衡公平实现和资源消耗的关系，用最小的资源消耗获得最大的公平效用。

2、防御恶意客户。声誉机制、拍卖机制、权重分配的前提是每个客户端诚实上传信息，若遇到恶意客户上传错误的信息，会影响全局模型的表现。

3、隐私保护的影响。引入差分隐私会降低模型准确率，限制FL实现公平性获取的收益。未来缓解隐私性和公平性的矛盾是一个很好的方向。

5. 引用

[1]Zhan Y, Zhang J, Hong Z, et al. A survey of incentive mechanism design for federated learning[J]. IEEE Transactions on Emerging Topics in Computing, 2021.

[2]梁文雅, 刘波, 林伟伟, 等. 联邦学习激励机制研究综述[J]. 计算机科学, 49(12): 46-52.

[3]A Comprehensive Survey of Incentive Mechanism for Federated Learning

[4]朱智韬,司世景,王健宗,程宁,孔令炜,黄章成,肖京.联邦学习的公平性研究综述[J/OL].大数据:1-29[2023-01-13].

[5]王文鑫,张健毅.联邦学习公平性研究综述[J].北京电子科技学院学报,2022,30(02):122-134.

[6]Song T, Tong Y, Wei S. Profit allocation for federated learning[C]//2019 IEEE International Conference on Big Data (Big Data). IEEE, 2019: 2577-2586.

[7]Wang G, Dang C X, Zhou Z. Measure contribution of participants in federated learning[C]//2019 IEEE International Conference on Big Data (Big Data). IEEE, 2019: 2597-2604.

[8]Nishio T, Shinkuma R, Mandayam N B. Estimation of individual device contributions for incentivizing federated learning[C]//2020 IEEE Globecom Workshops (GC Wkshps. IEEE, 2020: 1-6.

[9]Zhang J, Li C, Robles-Kelly A, et al. Hierarchically fair federated learning[J]. arXiv preprint arXiv:2004.10386, 2020.

[10]杨秀清,彭长根,刘海,丁红发,汤寒林.基于数据质量评估的公平联邦学习方案[J].计算机与数字工程,2022,50(06):1278-1285.

[11]Lyu L, Yu J, Nandakumar K, et al. Towards fair and privacy-preserving federated deep models[J]. IEEE Transactions on Parallel and Distributed Systems, 2020, 31(11): 2524-2541.

[12]Kang J, Xiong Z, Niyato D, et al. Incentive design for efficient federated learning in mobile networks: A contract theory approach[C]//2019 IEEE VTS Asia Pacific Wireless Communications Symposium (APWCS). IEEE, 2019: 1-5.

[13]Sarikaya Y, Ercetin O. Motivating workers in federated learning: A stackelberg game perspective[J]. IEEE Networking Letters, 2019, 2(1): 23-27.

[14]Le T H T, Tran N H, Tun Y K, et al. An incentive mechanism for federated learning in wireless cellular networks: An auction approach[J]. IEEE Transactions on Wireless Communications, 2021, 20(8): 4874-4887.

[15]Zeng R, Zhang S, Wang J, et al. Fmore: An incentive scheme of multi-dimensional auction for federated learning in mec[C]//2020 IEEE 40th International Conference on Distributed Computing Systems (ICDCS). IEEE, 2020: 278-288.

[16]Deng Y, Lyu F, Ren J, et al. Fair: Quality-aware federated learning with precise user incentive and model aggregation[C]//IEEE INFOCOM 2021-IEEE Conference on Computer Communications. IEEE, 2021: 1-10.

[17]Lyu L, Xu X, Wang Q, et al. Collaborative fairness in federated learning[M]//Federated Learning. Springer, Cham, 2020: 189-204.

[18]Zhao Y, Zhao J, Jiang L, et al. Mobile edge computing, blockchain and reputation-based crowdsourcing iot federated learning: A secure, decentralized and privacy-preserving system[J]. 2020.

[19]ur Rehman M H, Salah K, Damiani E, et al. Towards blockchain-based reputation-aware federated learning[C]//IEEE INFOCOM 2020-IEEE Conference on Computer Communications Workshops (INFOCOM WKSHPS). IEEE, 2020: 183-188.

[20]Kang J, Xiong Z, Niyato D, et al. Reliable federated learning for mobile networks[J]. IEEE Wireless Communications, 2020, 27(2): 72-80.

[21]Yang M, Wang X, Zhu H, et al. Federated learning with class imbalance reduction[C]//2021 29th European Signal Processing Conference (EUSIPCO). IEEE, 2021: 2174-2178.

[22]Nishio T, Yonetani R. Client selection for federated learning with heterogeneous resources in mobile edge[C]//ICC 2019-2019 IEEE international conference on communications (ICC). IEEE, 2019: 1-7.

[23]Zhou P, Fang P, Hui P. Loss Tolerant Federated Learning[J]. arXiv preprint arXiv:2105.03591, 2021.

[24]Wang H, Qu Z, Guo S, et al. Intermittent pulling with local compensation for communication-efficient distributed learning[J]. IEEE Transactions on Emerging Topics in Computing, 2020.

[25]Hu R, Gong Y. Trading data for learning: Incentive mechanism for on-device federated learning[C]//GLOBECOM 2020-2020 IEEE Global Communications Conference. IEEE, 2020: 1-6.

[26]Mohri M, Sivek G, Suresh A T. Agnostic federated learning[C]//International Conference on Machine Learning. PMLR, 2019: 4615-4625.

[27]Hu Z, Shaloudegi K, Zhang G, et al. Federated learning meets multi-objective optimization[J]. IEEE Transactions on Network Science and Engineering, 2022.

[28]Cui S, Pan W, Liang J, et al. Addressing algorithmic disparity and performance inconsistency in federated learning[J]. Advances in Neural Information Processing Systems, 2021, 34: 26091-26102.

[29]Li T, Sanjabi M, Beirami A, et al. Fair resource allocation in federated learning[J]. arXiv preprint arXiv:1905.10497, 2019.

[30]田家会,吕锡香,邹仁朋,赵斌,李一戈.一种联邦学习中的公平资源分配方案[J].计算机研究与发展,2022,59(06):1240-1254.

[31]Zhao Z, Joshi G. A Dynamic Reweighting Strategy For Fair Federated Learning[C]//ICASSP 2022-2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2022: 8772-8776.

[32]Li T, Beirami A, Sanjabi M, et al. Tilted empirical risk minimization[J]. arXiv preprint arXiv:2007.01162, 2020.

[33]ur Rehman M H, Dirir A M, Salah K, et al. TrustFed: a framework for fair and trustworthy cross-device federated learning in IIoT[J]. IEEE Transactions on Industrial Informatics, 2021, 17(12): 8485-8494.

[34]陈乃月,金一,李浥东,蔡露鑫,魏圆梦.基于区块链的公平性联邦学习模型[J].计算机工程,2022,48(06):33-41.DOI:10.19678/j.issn.1000-3428.0064095.

[35]Kulkarni V, Kulkarni M, Pant A. Survey of personalization techniques for federated learning[C]//2020 Fourth World Conference on Smart Trends in Systems, Security and Sustainability (WorldS4). IEEE, 2020: 794-797.

[36]Smith V, Chiang C K, Sanjabi M, et al. Federated multi-task learning[J]. Advances in neural information processing systems, 2017, 30.

[37]Arivazhagan M G, Aggarwal V, Singh A K, et al. Federated learning with personalization layers[J]. arXiv preprint arXiv:1912.00818, 2019.

[38]Hanzely F, Richtárik P. Federated learning of a mixture of global and local models[J]. arXiv preprint arXiv:2002.05516, 2020.

[39]Jiang Y, Konečný J, Rush K, et al. Improving federated learning personalization via model agnostic meta learning[J]. arXiv preprint arXiv:1909.12488, 2019.

[40]Yu T, Bagdasaryan E, Shmatikov V. Salvaging federated learning by local adaptation[J]. arXiv preprint arXiv:2002.04758, 2020.

[41]Li T, Sahu A K, Zaheer M, et al. Federated optimization in heterogeneous networks[J]. Proceedings of Machine Learning and Systems, 2020, 2: 429-450.

[42]Caldas S, Konečny J, McMahan H B, et al. Expanding the reach of federated learning by reducing client resource requirements[J]. arXiv preprint arXiv:1812.07210, 2018.

[43]Nader B, Jiahui H, Hui Z, Xin L, et al. Adaptive Federated Dropout: Improving Communication Efficiency and Generalization for Federated Learning[C], IEEE Conference on Computer Communications, 2021: 1-6.

[44]Li T, Hu S, Beirami A, et al. Ditto: Fair and robust federated learning through personalization[C]//International Conference on Machine Learning. PMLR, 2021: 6357-6368.

[45]Smith V, Chiang C K, Sanjabi M, et al. Federated multi-task learning[J]. Advances in neural information processing systems, 2017, 30.

[46]Arivazhagan M G, Aggarwal V, Singh A K, et al. Federated learning with personalization layers[J]. arXiv preprint arXiv:1912.00818, 2019.

[47]Li T, Sahu A K, Zaheer M, et al. Federated optimization in heterogeneous networks[J]. Proceedings of Machine Learning and Systems, 2020, 2: 429-450.

[48]Bietti A, Wei C Y, Dudik M, et al. Personalization improves privacy-accuracy tradeoffs in federated learning[C]//International Conference on Machine Learning. PMLR, 2022: 1945-1962.

[49]Cummings R, Gupta V, Kimpara D, et al. On the compatibility of privacy and fairness[C]//Adjunct Publication of the 27th Conference on User Modeling, Adaptation and Personalization. 2019: 309-315.

[50]Cummings R, Krehbiel S, Lai K A, et al. Differential privacy for growing databases[J]. Advances in Neural Information Processing Systems, 2018, 31.

[51]Matthew J, Michael J K, Jieming M, Alina O, Aaron R, Saeed S -, Jonathan U, et al. Differentially Private Fair Learning.[C], International Conference on Machine Learning, 2019, abs/1812.02696(): 3000-3008.

[52]Eckhouse L, Lum K, Conti-Cook C, et al. Layers of bias: A unified approach for understanding problems with risk assessment[J]. Criminal Justice and Behavior, 2019, 46(2): 185-209.