基于联邦学习的定义性特征和面临的挑战|社区

选自arXiv，作者：Peter等，机器之心编译，参与：魔王、杜维。

原论文比较长，摘要由 Heart编译。

论文链接：/pdf/1912.04977.pdf

介绍

联邦学习是指一种机器学习设置，其中多个客户端（例如移动设备或整个组织）在中央服务器（例如服务提供商）下协作训练模型，同时确保训练数据的分散。 联邦学习利用本地数据收集和最小化原则来降低传统集中式机器学习方法带来的一些系统性隐私风险和成本。

该领域最近在研究和应用层面都受到了相当多的关注。 本文将介绍联邦学习的定义特征和挑战，强调重要的实际限制和考虑因素，并引用一些有价值的研究方向。 本文旨在提出具有重大理论和现实意义的研究问题，并鼓励大家对这些问题进行研究，这将对现实世界产生巨大的影响。

联邦学习一词最早由等人提出。 2016 年：“我们将这种方法命名为联邦学习，因为学习任务是在中央服务器的协调下通过多个参与设备（即客户端）的松散联合来解决的。” 在通信带宽有限的大量不可靠设备上对不平衡和非独立同分布（非 IID）数据进行分割被认为是联邦学习的核心挑战。

谷歌研究科学家 H.

在“联邦学习”这个术语被创造之前，已经有大量的相关研究工作。 许多研究社区（包括密码学、数据库和机器学习）追求的长期目标是在不暴露数据的情况下分析和学习分布在多个数据所有者之间的数据。 用于计算加密数据的加密方法首次出现于 20 世纪 80 年代初，[15] 等人。 [390]是关于使用中央服务器来学习本地数据同时保护隐私的早期研究。

然而，即使在“联邦学习”这个术语出现之后，我们仍然发现没有一项研究能够直接解决联邦学习所面临的所有挑战。 因此，“联邦学习”一词简洁地描述了基于具有高度隐私性的去中心化数据的应用机器学习问题的特征、局限性和挑战。

联邦学习的发展在于各学科的合作

2019年6月17-18日，联邦学习研讨会在谷歌西雅图办公室举行。 本文就是在这次研讨会的基础上写成的。 在为期两天的研讨会中，我们清楚地意识到需要撰写一篇综述论文来调查联邦学习中的许多开放挑战。

研讨会上讨论的许多问题都有一个核心特征：它们本质上是跨学科的。 解决这些问题不仅需要机器学习，还需要分布式优化、密码学、安全、差分隐私、公平、压缩感知、系统、信息论、统计学等学科的技术。 最困难的问题出现在这些学科的交叉点，因此本文认为合作是推动联邦学习领域发展的唯一途径。 本文的目标之一是强调结合这些领域的技术如何带来有趣的可能性和新的挑战。

虽然“联邦学习”一词最初出现时强调移动和边缘设备应用程序，但人们将联邦学习应用于其他应用程序的兴趣显着增长，包括一些涉及少量相对可靠的客户的应用程序，例如多个组织协作训练模型。 。 研究人员分别将这两种联邦学习设置称为“跨设备”（cross-）和“跨筒仓”。 基于这些变化，本文给出了联邦学习更广泛的定义：

联合学习是一种机器学习设置，其中多个实体（客户端）在中央服务器或服务提供商的协调下协作解决机器学习问题。 每个客户端的原始数据都存储在本地，无法交换或迁移。 联邦学习利用本地更新（用于立即聚合（））来实现学习目标。

本地更新 ( ) 是仅限于包含特定学习任务的最少必要信息的更新。 在数据最小化服务中应尽早进行聚合。 我们注意到这个定义将联邦学习与完全分散的（点对点）学习技术区分开来。

跨设备FL、Cross-Silo FL和传统单数据中心分布式学习

关于隐私保护数据分析，该领域的研究已经进行了50多年，但直到最近十年才出现了可以大规模部署的解决方案。 跨设备联合学习和联合数据分析现在正在消费数字产品中使用。 在移动键盘、Pixel 手机功能等方面广泛使用联邦学习。 谷歌在跨设备联邦学习领域遥遥领先，但现在有更广泛的群体对该领域感兴趣。 例如：苹果在 iOS 13 系统中使用了跨设备联邦学习，例如键盘和“Hey Siri”声音分类器。 应用； doc.ai 正在开发用于医学研究的跨设备联合学习解决方案； Snips 探索用于热词检测的跨设备联合学习。

跨竖井应用也在多个领域不断涌现，包括再保险业务中的财务风险预测、药物研发、电子病历挖掘、医疗数据分割和智能制造。

对联邦学习技术不断增长的需求催生了大量可用的工具和框架，包括[38]、AI [34]、[342]、Leaf [35]、[36]和Clara训练框架[33]（详情参见附录A）。 大型科技公司和小型初创公司都在构建包含联邦学习技术的商业数据平台。

下表1从多个维度对跨设备联邦学习、跨孤岛联邦学习和传统单数据中心分布式学习进行了比较。 这些特征构造了联邦学习实际系统必须满足的一些约束，从而推动联邦学习的发展并发现其面临的开放挑战。

表 1：联邦学习与单数据中心分布式学习的典型特征。 跨设备和跨孤岛联邦学习是 FL 领域的两个分支，但它们并不是全部。 该表以粗体突出显示了联邦学习的主要定义特征，尽管其他特征对于确定可以使用哪种技术也至关重要。

这两种联邦学习变体是联邦学习领域具有代表性和重要的例子，不同的联邦学习设置可能具有不同的特征组合。 除非另有说明，本文的其余部分主要考虑跨设备联邦学习设置，尽管其中一些问题也适用于其他联邦学习设置。 本文的第二章介绍了联邦学习的其他变体和应用。

接下来，让我们更详细地探讨跨设备联邦学习，重点关注典型大规模部署的实际方面。 [74]对具体的生产系统进行了更详细的介绍，包括具体架构的选择和考虑。

跨设备联邦学习设置

本章从应用的角度介绍了跨设备联邦学习中出现的一些实际问题以及如何将其集成到更广泛的机器学习开发和生态系统部署中。 希望本章能为下面介绍的联邦学习的开放问题提供有用的背景和动机，同时也帮助研究人员估计在现实系统中直接部署特定新方法的可行性。 在讨论联邦学习训练过程之前，我们首先看一下模型的生命周期。

联邦学习中的模型生命周期

联邦学习通常由为特定应用程序开发模型的模型工程师驱动。 例如，自然语言处理工程师可能会为虚拟键盘开发“下一个单词预测模型”。 下图 1 显示了其主要组件和参与者：

图1：联邦学习训练模型的生命周期，以及联邦学习系统中的多个参与者。 第 4 章将从威胁模型的角度重新介绍该图。

总体而言，其典型工作流程如下：

问题识别：模型工程师利用联邦学习识别要解决的问题； 客户端设置：如有必要，设置客户端（例如手机上运行的应用程序）以在本地存储必要的训练数据（尽管存在时间和数量限制）。 在许多情况下，应用程序已经存储数据（例如，短信应用程序必须存储文本消息，照片管理应用程序存储照片）。 然而，在其他情况下，需要保留额外的数据或元数据，例如为监督学习任务提供标签的用户交互数据； 仿真原型开发（可选）：模型工程师可以开发模型架构的原型，并使用代理数据集（proxy）在联邦学习仿真环境中测试学习超参数； 联邦模型训练：启动多个联邦训练任务来训练模型的不同变体，或使用不同的优化超参数； （联邦）模型评估：任务经过充分的训练（通常需要几天）后，分析模型并选择好的候选者。 分析可能包括在数据中心的标准数据集上计算的指标，或在预留客户端上的本地客户端数据上评估的模型的联合评估结果； 部署：最后，选择模型后，就进入标准模型部署流程，包括手动质量保证、实时A/B测试（部分模型使用新模型，另一些模型使用之前的模型，然后比较它们的性能）和分阶段部署（以便在出现不良行为时可以及时，避免影响太多用户）。 模型的具体安装过程由应用程序所有者设置，通常独立于模型训练过程。 换句话说，这个步骤同样可以用于使用联邦学习或传统数据中心方法训练的模型。

联邦学习系统面临的主要实际挑战之一是尽可能简化上述工作流程，使其能够完美匹配使用集中式训练方法获得的易于使用的机器学习系统。 尽管本文重点讨论联邦学习，但也会涵盖其他组成部分，包括模型评估和调试等联邦分析任务。 接下来，我们将详细介绍整个联邦学习模型的训练过程（即上述步骤中的第4步）。

典型的联邦训练流程

我们现在考虑联邦学习训练的模板，其中包括等人提出的联邦平均算法。 [289]。 此外，可能存在其他变化，但该算法提供了一个通用的起点。

服务器（服务提供商）部署整个训练过程，重复以下步骤直到训练停止（这取决于监控训练过程的模型工程师）：

客户端选择：服务器从一组符合要求的客户端中进行采样。 例如，服务器需要确认手机是否已开机、是否已连接无限带宽Wi-Fi、是否空闲，以避免影响设备用户； ()：选择的客户端下载当前的模型权重和训练程序（如图[6]）； 客户端计算：每个选定的设备通过执行训练程序在本地计算模型更新，例如在本地数据上运行 SGD（就像在联邦平均算法中一样）； ()：服务器收集所有设备更新。 为了提高效率，一旦有足够多的设备报告结果，落后者就会被丢弃。 该步骤也是其他技术的集成点，其中可能包括：用于增强隐私的安全聚合、用于提高通信效率的更新聚合的有损压缩、以及差分隐私所需的噪声添加和更新裁剪（ ）； 模型更新：根据本轮参与的所有客户端计算聚合更新，服务器据此更新本地共享模型。

下表2介绍了典型联邦学习移动设备应用场景的规模大小：

表 2：典型跨设备联合学习应用程序的规模。

客户端计算、聚合和模型更新阶段的分离并不是联邦学习的严格要求，但它确实排除了某些类别的算法，例如异步 SGD（其中每个客户端的更新立即应用于模型，而不聚合来自其他客户端的更新） ）。 这种异步方法简化了系统设计的某些方面，并且从优化的角度来看可以说是有益的。 然而，上述训练方法对于将主题与不同研究领域分开具有显着优势：压缩、差分隐私和安全多方计算的进步有利于标准原语（例如计算去中心化更新的总和或平均值），其中包括任何优化或分析算法，只要它们以聚合原语的形式表达即可。

这里还需要强调一点：从两个方面来说，联邦学习的训练过程不应该影响用户体验。

首先，如上所述，尽管模型参数通常在每轮联合训练的广播阶段发送到某些设备，但这些模型只是训练过程中短暂的一部分，并不用于创建“实时”预测显示给用户。 这一点至关重要，因为训练机器学习模型很困难，并且错误配置超参数可能会导致模型的预测效果极差。 用户可见的模型应用程序被延迟到模型生命周期中的第6步——部署过程；

其次，训练本身对用户来说是不可见的，如客户端选择阶段所述，并且训练不会减慢设备速度或消耗电量，因为它仅在设备空闲和开机时执行。 然而，这些限制带来的可用场景有限，直接导致开放的研究挑战，例如半环数据获取（半数据）和客户选择的潜在偏差。

联邦学习研究

现实世界的联邦学习设置包括基于医疗保健系统的医疗数据的训练模型、使用数亿移动设备进行训练等等。 本文的其余部分提出了由于现实世界 FL 设置的限制和挑战而产生的未决问题。 更不用说，大多数研究联邦学习问题的研究人员不太可能部署生产级联邦学习系统或访问数百万台现实世界的设备。 这导致了真实设置和模拟实验之间的显着区别（实际设置刺激研究，模拟实验为给定方法对现实世界问题的适应性应用提供了证据。）

因此，从实验的角度来看，联邦学习研究与机器学习的其他领域略有不同，因此在进行联邦学习研究时需要更多的考虑。 具体来说，在列举开放性问题时，研究人员试图指出可以在模拟环境中使用的相关性能指标、使模型更能代表其在现实世界中的性能的数据集特征等等。 模拟的需求也对联邦学习研究的呈现产生影响。

研究人员对于如何呈现联邦学习研究提出了一些温和的建议：

用于联邦学习模拟的软件库和标准数据集可以帮助缓解进行高效联邦学习研究的挑战，附录 A 总结了当前可用的一些软件库和数据集。 为不同的联邦学习设置（跨设备和跨孤岛）开发标准评估指标和构建标准基准数据集仍然是未来工作的重要方向。

本文其余章节的概述

由于本文篇幅较长，其余章节仅摘录目录内容。 读者可以前往原文查看详细内容。

本文的第二章基于上面的表1，探讨了跨设备设置之外的其他联邦学习设置和问题。

第3章重新聚焦于如何提高联邦学习的效率和有效性的核心问题。

本章探讨了使联邦学习更加高效的各种技术和开放问题，包括各种可能的方法，例如：开发更好的优化算法、为不同的客户端提供不同的模型、启用超参数搜索、架构搜索和调试等机器学习任务在联邦学习环境中更容易，沟通效率提高等等。

第 4 章介绍了威胁模型以及实现严格隐私保护目标所需的众多技术。

与所有机器学习系统一样，联邦学习应用程序中存在一些影响模型训练的因素，并且一些失败是不可避免的，这将在第 5 章中讨论。

第 6 章讨论了提供公平和公正模型方面的重要挑战。

第 7 章结论。