联邦学习作为一种分布式机器学习,有效地解决了大数据时代的数据共享难题。其中,跨机构联邦学习是机构之间互相合作的一种联邦学习类型。如何在跨机构合作的过程中设计合理的激励机制十分重要。文中从跨机构合作的角度,对现有的跨机构联邦学习的激励机制研究进行了综述。首先介绍跨机构合作过程中的3个基本问题,即高隐私性、数据异质性、公平性,然后分析了以全局模型为中心和以参与者为中心这两种不同的跨机构合作模式下的激励机制设计方法,最后总结了影响跨机构合作稳定发展的几个影响因素,即参与者的数据演变、参与者合作关系变动和参与者的负面行为,并展望了跨机构联邦合作的未来方向。

联邦学习作为一种能够解决数据孤岛问题、实现数据资源共享的机器学习方法,其特点与工业设备智能化发展的要求相契合。因此,以联邦学习为代表的人工智能技术在工业互联网中的应用越来越广泛。但是,针对联邦学习架构的攻击手段也在不断更新。后门攻击作为攻击手段的代表之一,有着隐蔽性和破坏性强的特点,而传统的防御方案往往无法在联邦学习架构下发挥作用或者对早期攻击防范能力不足。因此,研究适用于联邦学习架构的后门防御方案具有重大意义。文中提出了一种适用于联邦学习架构的后门诊断方案,能够在无数据情况下利用后门模型的形成特点重构后门触发器,实现准确识别并移除后门模型,从而达到全局模型后门防御的目的。此外,还提出了一种新的检测机制实现对早期模型的后门检测,并在此基础上优化了模型判决算法,通过早退联合判决模式实现了准确率与速度的共同提升。

随着移动通信技术的快速发展和物联网终端设备数量激增,丰富多样的智能应用及海量数据在网络边缘产生,边缘智能应运而生。当前,联邦学习作为一种新兴的分布式机器学习方法,可以在不共享终端设备原始数据的情况下协作完成模型训练任务,是实现边缘智能的重要方式。传统的边缘智能网络以地面通信基站为参数服务器,其服务范围相对固定,无法适应复杂多变的异构网络环境。无人机由于其灵活性和机动性被引入联邦学习中,可以有效地在边缘智能网络中提供通信/计算/缓存服务,增强地面网络的通信容量,弥补传统地面网络通信范围受限、通信开销大、数据传输延迟高等缺点。无人机辅助的联邦学习具有通信覆盖范围广、通信开销低、即时响应等明显优势,同时也面临通信带宽受限、不可靠的通信环境、飞行环境的不确定性等挑战,上述挑战可能导致低能效问题。无人机辅助的高能效边缘联邦学习是将无人机作为边缘服务器的计算能耗、计算频率、时间分配等纳入考虑,研究无人机辅助联邦学习系统的能效优化方案。针对无人机作为边缘服务器这一场景,依据最小化能耗、最小化延迟和最小化能耗延迟加权和等不同的优化目标,对当前无人机辅助的高能效边缘联邦学习研究进行了分类和总结,并对未来研究方向进行了思考和展望。

为了应对机器学习过程中可能出现的用户隐私问题,联邦学习作为首个无需用户上传真实数据、仅上传模型更新的协作式在线学习解决方案,已经受到人们的广泛关注与研究。然而,它要求用户在本地训练且上传的模型更新中仍可能包含敏感信息,从而带来了新的隐私保护问题。与此同时,必须在用户本地进行完整训练的特点也使得联邦学习过程中的运算与通信开销问题成为一项挑战,亟需人们建立一种轻量化的联邦学习架构体系。出于进一步的隐私需求考虑,文中使用了带有差分隐私机制的联邦学习框架。另外,首次提出了基于Fisher信息矩阵的Dropout机制——FisherDropout,用于对联邦学习过程中在客户端训练产生梯度更新的每个维度进行优化选择,从而极大地节约运算成本、通信成本以及隐私预算,建立了一种兼具隐私性与轻量化优势的联邦学习框架。在真实世界数据集上的大量实验验证了该方案的有效性。实验结果表明,相比其他联邦学习框架,FisherDropout机制在最好的情况下可以节约76.8%~83.6%的通信开销以及23.0%~26.2%的运算开销,在差分隐私保护中隐私性与可用性的均衡方面同样具有突出优势。

针对联邦增量场景中持续学习和数据安全的问题,构建了结合元学习的去中心化联邦增量学习框架。首先,为解决增量场景中持续学习带来的灾难性遗忘问题,提出了结合最近类均值样本回放的增量元学习方法NMR-cMAML,利用元训练对不同任务流的快速适应进行元更新,得到适用于新旧样本的模型。然后,为解决联邦增量场景中的数据安全问题,设计了基于对等网络架构的去中心化联邦增量学习框架,对等架构中每个客户端采用NMR-cMAML对私有的持续任务流进行增量学习。不同于传统的基于服务器-客户端的中心化架构,该去中心化架构采用客户端间通信的策略,消除了传统中央服务器易被攻击的隐患;同时,在联邦通信过程中,通过共享元学习的模型参数实现客户端间知识的有效迁移。最后在图像数据集(Cifar100和Imagenet50)上进行了不同任务场景的实验,结果表明所提方法能在提高系统的数据安全性的同时提升客户端本地性能。

作为一种分布式机器学习范式,联邦学习(Federated Learning,FL)旨在在保护数据隐私的前提下,实现在多方数据上共同训练机器学习模型。在实际应用中,FL在每轮迭代中需要大量的通信来传输模型参数和梯度更新,从而提高通信效率,这是FL面临的一个重要挑战。文中主要介绍了FL中通信效率的重要性,并依据不同的侧重点将现有FL通信效率的研究分为客户端选择、模型压缩、网络拓扑重构以及多种技术结合等方法。在现有的FL通信效率研究的基础上,归纳并总结出通信效率在FL发展中面临的困难与挑战,探索FL通信效率未来的研究方向。

在医学领域,由于患者隐私问题,图像很难集中收集和标注,这给深度学习模型的训练和部署带来了较大困难。联邦学习作为一种能有效保护数据隐私的分布式学习框架,能够在参与方不共享数据的基础上进行联合建模,从技术上打破数据孤岛,其凭借这些优势在许多行业已经得到广泛应用。由于与医学图像处理的需求高度契合,近年来也涌现出许多应用于医学图像处理的联邦学习研究,然而大部分新的方法仍未被归纳分析,不利于后续的进一步探索。文中对联邦学习进行了简单的介绍,列举了其在医学图像处理方面的部分应用,并根据改进的方向对目前已有的研究进行了分类总结。最后,讨论了目前医学图像方向联邦学习所面临的问题和挑战,并对未来的研究方向进行了展望,希望给后续研究提供一定的帮助。

联邦学习(Federated Learning,FL)是一种新兴的分布式机器学习范式,其核心思想是用户设备以分布式的方式在本地训练模型,且无需上传原始数据,仅需将训练后的模型上传到服务器进行模型聚合。现有研究大多忽略了设备的计算资源会随着用户的使用模式而发生时序性变化,这会影响FL的训练进度。文中针对异构设备具有时变计算资源的特点,使用自回归模型对时变计算资源进行建模,并提出了一个设备选择算法。首先构造了长期训练时间约束下最小化每轮FL平均训练时间的优化问题,接着采用李雅普诺夫优化理论对其进行转化,最后求解得到设备选择算法。实验结果表明,与基线算法相比,所提算法能够在基本保证模型质量的同时缩短FL的训练时间和设备的平均等待时间。

随着人工智能技术的快速发展,各类大型语言模型不断涌现。但是专用大语言模型的用户及数据集大多具有隐私性和安全性要求,数据安全隐私问题亟待解决。在此背景下,联邦大语言模型应运而生并得到越来越多的关注。由于大型语言模型庞大的数据量以及联邦学习的分布式架构,海量的参与节点与云服务器间进行大量的模型交换会产生较高的通信成本。为提升模型收敛速率,研究人员对面向联邦大语言模型训练的传输优化技术展开了研究。文章分析了联邦大语言模型所面临的挑战;综述了基于模型微调的传输优化方法、基于模型压缩的传输优化方法以及基于分布式并行处理的传输优化的优化问题;介绍了已有的开源联邦大语言模型以及所用到的传输优化技术,并对未来研究方向进行了展望。

联邦学习允许用户通过交换模型参数共同训练一个模型,能够降低数据泄露风险。但研究发现,通过模型参数仍能推断出用户隐私信息。对此,许多研究提出了模型隐私保护聚合方法。此外,恶意用户可通过提交精心构造的投毒模型破坏联邦学习聚合,且模型在隐私保护下聚合,恶意用户可以实施更加隐蔽的投毒攻击。为了在实现隐私保护的同时抵抗投毒攻击,提出了一种隐私保护联邦学习鲁棒聚合方法PRFL。PRFL不仅能够有效防御拜占庭用户发起的投毒攻击,还保证了本地模型的隐私性、全局模型的准确性和高效性。首先,提出了一种双服务器结构下轻量级模型隐私保护聚合方法,实现模型隐私保护聚合,同时保证全局模型的准确性并且不会引入开销问题;然后,提出了一种密态模型距离计算方法,在不暴露本地模型参数的同时允许双方服务器计算出模型距离,并基于该方法和局部离群因子算法(Local Outlier Factor,LOF)设计了一种投毒模型检测方法;最后,对PRFL的安全性进行了分析。在两种真实图像数据集上的实验结果表明:无攻击时,PRFL可以取得与FedAvg相近的模型准确率;PRFL在数据独立同分布(IID)和非独立同分布(Non-IID)设置下能有效防御3种先进的投毒攻击,并优于现有的Krum,Median,Trimmed mean方法。

针对联邦学习中标签噪声问题的研究较少,目前的主流方法是,服务器端引入基准数据集对客户端的模型进行评估,对客户端的聚合权重、特征类中心进行控制等,但大多数方法区分噪声客户端/噪声样本的能力尚有提升空间。文中提出了一种基于协同网络与度量学习的标签噪声鲁棒联邦学习方法。该方法由以下3部分组成:1)客户端互评分机制:客户端为彼此模型评分,构建评分矩阵,进一步将其转化为邻接矩阵,以区分干净/噪声客户端。2)协同网络模块:通过构建两个协同对等的联邦网络模型,使用简森-香农散度为协同网络彼此的训练区分干净样本与噪声样本。3)联邦-协同网络三元组损失:为噪声样本设计损失函数,约束同一噪声样本协同网络的输出特征。在CIFAR-10和CIFAR-100两个公开数据集上进行实验验证,结果表明所提方法在准确性上具有优势。

随着元宇宙的迅猛发展,视线交互技术作为元宇宙核心交互方式受到广泛关注,视线隐私问题愈发引起人们的担忧。视线不仅可以表征凝视方向,还能用于个体身份识别,以及识别一系列敏感的软生物特征,如年龄、性别、种族等,甚至可以用于推断个体的情绪、认知状态和决策过程。因此,研究元宇宙视线交互中的隐私保护策略变得极为关键。此外,元宇宙中很多基于视线交互的新功能需要利用特定的个体隐私属性以提供更好的服务,然而目前尚无主动控制视线隐私进行选择性流通的方法。为此,首先围绕视线隐私泄露问题展开了分层次、定量的实证研究;接着创新性地提出了一种融合联邦学习与拆分学习的视线隐私保护框架,有效降低了隐私泄露的风险;进一步地,提出了一种基于对抗训练的主动隐私控制策略,不仅实现了针对性的隐私过滤,而且提高了视线模型的泛化能力;最后进行了严谨的实验验证,所提方法在视线数据的隐私保护和交互性能方面展现出了双重优势,为元宇宙环境中视线交互的隐私保护提供了创新的解决路径和技术方案。

联邦学习分布式的特性使其允许各客户端在保持数据独立性的同时进行模型训练,但这也使得攻击者可以控制或模仿部分客户端来发起后门攻击,通过植入精心设计的固定触发器操纵模型输出。触发器的有效性和持久性是衡量攻击效果的重要标准,有效性即攻击成功率,持久性即停止攻击后维持高攻击成功率的能力。目前针对有效性的研究已经相对深入,但如何维持触发器的持久性仍然是一个有挑战性的问题。为延长触发器的持久性,提出了一种基于动态优化触发器的后门攻击方法。首先,在联邦学习动态更新时同步优化触发器,将触发器特征在攻击时模型与攻击后模型的潜在表示的差异最小化,以此训练全局模型对触发器特征的记忆能力。其次,使用冗余神经元作为植入后门是否成功的指标,通过自适应添加噪声来增强攻击的有效性。在MNIST,CIFAR-10和CIFAR-100数据集上进行广泛实验,结果表明,所提方案有效延长了联邦学习环境下触发器的持久性。在具有代表性的5种防御体系下攻击成功率高于98%,特别是在针对CIFAR-10数据集的攻击停止超过600轮后,攻击成功率仍然高于90%。