知识图谱｜联邦学习是什么？为什么说它是很有前景的机器学习方式？

2023-08-2912:00

收藏文章

订阅专栏

“Web3 云服务知识图谱”是我们针对 Web3 云服务从零到一的入门级文章，我们希望这个栏目能让大家全方位了解到 Web3 云服务的内容，也让刚接触这个领域的人能够快速掌握 Web3 云服务相关知识。今天是该栏目的第 5 期，我们将在本文中介绍什么是联邦学习以及它的三种类别。

什么是联邦学习

Web3 Cloud Service

人工智能技术正在极大地改变着我们的生活，但是为了使人工智能模型有效，它们通常需要训练大量数据。数据就像机器的食物，没有数据，机器就无法成长。

互联网每天都会产生大量的数据，并且随着社交媒体、云服务和物联网等技术的使用，这一数字呈指数级增长，所有这些数据对企业和社会都具有巨大的价值潜力。

尽管数据很多，但这并不意味着它们就是随处可得的，有些数据是敏感的，比如个人信息、医疗记录、银行账户等。并且由于隐私、不信任和其他风险问题，部分企业可能不愿与第三方甚至同一组织内的其他部门共享这些数据，这意味着许多有价值的数据仍然不可用。

那么，有什么方法既能保护数据的安全，又能让机器进行大量的学习呢？

联邦学习（Federated Learning）便可以很好地解决这个问题，这是一种分布式机器学习技术，它可以让多个参与方在不共享数据的情况下，通过协作训练一个共同的模型，从而提高模型的性能和泛化能力，同时保护数据的隐私和安全。

关于这个概念的提出者，有一种说法是，联邦学习最早由谷歌在 2016 年提出，用于解决安卓手机终端用户在本地更新模型的问题。还有另一种说法是，我国学者王爽教授早于谷歌提出联邦学习，其团队早在 2012 年就提出了联邦学习框架应用于医疗在线学习，并于 2013 年发表在专业 SCI 期刊上。

但无论哪种说法是正确的，我们都不得不承认联邦学习是一种很有前景的机器学习范式。根据参与方之间数据分布的不同，可以将联邦学习分为三类：横向联邦学习、纵向联邦学习和联邦迁移学习。

横向联邦学习（Horizontal Federated Learning）是指参与方的数据拥有相同的特征空间，而样本空间不同，也就是说，数据是按行划分的。这种情况下，参与方可以通过联合训练一个模型来增加样本的数量，提高模型的精度。例如，不同地区的银行可以通过横向联邦学习来共享客户数据。

纵向联邦学习（Vertical Federated Learning）是指参与方的数据拥有相同的样本空间，而特征空间不同，也就是说，数据是按列划分的。这种情况下，参与方需要先做样本对齐，然后通过联合训练一个模型来增加特征的维度，提高模型的精度。例如，同一地区的银行和电商可以通过纵向联邦学习来共享客户数据。