FedGEN：面向异质联邦学习的无数据知识蒸馏框架

1）Knowledge Extraction：在这里，首先考虑学习一个条件分布Q：y—>x来描述来自参与方客户端的全局视图的集成知识：

其中p(y)和p(y|x) 分别是样本真值标签的先验分布和后验分布，两者都是未知的。但这一条件分布Q，在高维度的样本空间X的情况下将导致计算过载，并可能造成用户相关数据配置的泄露。因此，文章提出另一个可行的想法：直接恢复潜在空间上的诱导分布G：Y—>Z（潜在空间也就是全局数据的特征分布，比原始数据空间更加紧凑，并且可以减少某些隐私泄露的风险），具体如下：

基于上述推导，进一步地，FedGEN旨在通过学习一个条件生成器G来执行知识提取（恢复一个潜在空间上的特征），该生成器由w参数化，在服务端进行优化，优化目标如下：

其中g是logit输出，σ是激活函数。对于任意标签y，优化(4)只需要基于用户模型的预测模块θp_k。具体来说，为了使G(·| y)的输出多样化，FedGEN向生成器G_w引入了一个噪声向量ε ~ N(0, i)，这样一来，给定任意的目标标签y，生成器G_w可以产生特征表示z~G_w(· | y)，而该特征表示在潜在特征空间中可以根据所有用户模型的标签引导出理想的预测。

2）Knowledge Distillation：服务器将完成学习的生成器G_w广播给各个用户，使每个用户模型都可以从G_w中进行采样以获得特征空间上的增广表示：z~G_w(· | y)，用户模型θ_k的优化目标也变为最大化其为增广样本产生理想预测的概率（个人理解就是本地模型训练原始数据 + 增广样本，使得损失最小）：

通过生成器生成增强的样本可以向本地用户引入归纳偏差，以更好的泛化性能来增强本地模型训练学习。经过以上步骤，FedGEN通过交互学习出一个依赖于用户模型预测规则的轻量级生成器G_w，并利用该生成器向用户传递一致的知识，从而实现了data-free的知识提炼-蒸馏过程。

3）Extensions for Flexible Parameter Sharing：对于具有挑战性的FL场景：一方面，其具有深度特征提取层的高级网络通常包含数百万个参数，这给通信带来了巨大的负担；另一方面，基于FL的后门攻击方法已被证明是可行的，共享整个模型参数可能会带来相当大的隐私风险。FedGEN通过仅共享用户模型的预测层θp_k（即，生成器中标签到特征的函数），θf_k（特征提取器）则保留在用户本地，与共享整个模型的策略相比，这种部分共享模式更有效，同时更不容易发生数据泄漏。

关于FedGEN整体伪代码如下所示：

知识蒸馏与归纳偏置：轻量级生成器G_w基于用户模型的预测规则进行学习，目的是融合来自用户模型的聚合信息来估计全局数据分布R(x|y)，接着用户从G_w(x|y) 进行采样，采样结果作为自身的归纳偏置，进而调整决策边界，如下图3所示，在知识蒸馏KD之后，一个用户的准确率从81.2% 提高到了98.4%。

知识蒸馏与分布匹配：FedGEN和先前研究的主要区别在于：知识被蒸馏至用户模型，而不是全局模型。因此，蒸馏出来的知识（向用户传递的归纳偏置）可以通过在潜在空间Z上进行分布匹配，直接调节本地用户的学习。 

知识蒸馏与泛化性能：用户异构性越高的话，则用户之间的数据分布差异也越高，这会降低全局模型的质量；而通过向本地用户提供与全局分布一致的增广数据，则可以提高泛化性能。

实验设置：将最后一层作为预测器θpk，之前所有层作为特征提取器θfk。生成器Gw是基于MLP的。它以一个噪声向量ε和一个one-hot标签向量y作为输入，在经过一个维数为dh的隐藏层之后，输出一个维数为d的特征表示。对于MNIST和EMNIST数据集，建模non-iid数据分布，其中较小的α表示较高的数据异质性，因为它使得pk(y)分布对用户k更有偏差。对于CELEBA，原始数据自然是non-iid分布式的。然后通过将属于不同名人的图片聚合到不相交的组中，每个组分配给一个用户，进一步提高了数据的异质性。 

在整体的实验部分，除非另有说明，否则都是进行了200轮全局迭代，总共有20个用户模型，活跃用户比率设置为r=50%。在本地局部训练过程，采用局部更新步骤T=20，每一步迭代使用大小为B=32的小批量数据。实验过程中，最多使用50%的总训练数据集进行模型训练，将其分发给用户模型，使用所有测试数据集进行性能评估。对于分类器基准网络，只将最后的MLP层视为预测器p_k，将所有之前的层视为特征提取器f_k，同时生成器G_w是基于MLP的：它以一个噪声向量ε和一个one-hot标签向量作为输入，基于一个维度为h的隐藏层之后，输出维度为d的特征表示。此外，实验中还基于Dirichlet分布来构造异构性non-iid数据分布，其中较小的参数α表示较高数据异质性。 

性能概述：文章对FedGEN的多项性能进行了详细的实验分析：预测精度、学习效率、对游离用户的敏感度、对不同模型结构的敏感度、对通信延迟的敏感度、对生成器的网络结构和采样大小的敏感度、灵活参数共享的扩展性分析，以及数据集MNIST在迪利克雷分布下，基于参数α的不同取值下的异构性可视化。如下表1所示，我们可以观察到FedGEN性能显著优于其他基线方法。

数据异质性的影响：FedGEN是一种对不同级别的用户异质性具有鲁棒性同时始终表现良好的算法。如下图5所示，当数据分布高度异构时，FedGEN的增益更为显著，这也验证了本文的动机：FedGEN的优势是从本地用户中提取知识并集成归纳出来的，这缓解了用户之间潜在分布的差异性，然而FedAvg/FedProx等算法无法获取此类知识。 

学习效率：如下图6所示，FedGEN具有最快的学习曲线来达到性能，并且优于其他基线方法。由于代理数据的优势，FedGEN方法可以直接使每个本地用户从主动学习到的知识受益，其效果更加明确和一致。

掉队用户的影响：基于CELEBA数据集探索总用户和活跃用户的不同数量，活跃比率r从0.2到0.9。从图5(b)可以看出，当掉队用户数较高时，FedGEN方法对于渐近性能仍然一致地优于其他所有基线方法。结合图6(a)和图6(b)，可以观察到FedGEN方法需要更少的通信轮次来达到高性能，而不需要考虑掉队用户的设置带来的影响。 

不同网络架构的影响：实验中使用CNN和MLP两种网络架构对MNIST数据集进行分析，如图5(c)和图5(d)所示，在两种不同的网络设置中，FedGEN方法，尽管使用CNN网络训练的整体性能明显高于使用MLP网络的整体性能，但是其出色性能是一致的。 

生成器网络结构和采样大小的影响：如下表3所示的扩展分析，已经验证了FedGEN在不同的生成器网络架构上的健壮性。此外，从生成器中采样合成数据只会给本地用户增加少量的训练工作量。基于不同的合成样本大小，FedGEN的增益始终是显著优于其他方法的，并且足够数量的合成样本也会带来更好的性能(如下图7所示)。特别是在下表3中，在保持输出层维度固定的情况下，探索了生成器的输入噪声和隐藏层的不同维度之间的关系。FedGEN卓越性能验证了在non-iid这种具有挑战性的情况下无数据蒸馏的功效，FedGEN通过快速收敛和灵活的参数共享策略，也具有进一步减少通信工作量的潜力。

FedGEN通过聚合所有客户端模型的知识（标签信息）用来得到一个生成器模型，生成器可以根据标签Y生成特征Z，服务器将生成器广播给所有客户端，客户端通过生成器生成增广样本用来帮助本地模型训练（增广样本具有归纳偏置信息），通过生成器可以提炼出全局分布数据的知识给客户端，从而实现无信息的知识蒸馏。 

聚合所有客户端模型的知识训练生成器 代码位置：servers/serverpFedGen.py内train_generator函数 生成器模型定义：

其中passed_dataset就是代表数据集，因为不同的数据集对应不同的embedding以及layer因此需要加入这个参数，接下来我们看Generator这个生成器类：

就是叠加堆砌FC+BN+ReLU，最后生成特征，维度为latent_dim 然后我们看update_generator_函数：训练生成器

其中eps可以理解为生成器按照noise得出的结果，gen_output可以认为根据labels标签得到的结果，然后得出diversity_loss，根据diversity_loss训练生成器，其中diversity_loss定义如下：

主要就是计算l1,l2 loss以及cosine distance。

teacher_loss指的是分类loss，student_loss指的是生成器特征得到的标签与真实标签的KL Loss，最后就是diversity_loss训练生成器。通过以上三种loss最终得到生成器，然后服务器将生成器广播给所有客户端，客户端通过生成器生成增广样本用来帮助本地模型训练。