开yun体育app官方下载入口 总结来看迁移学习相较于以往的机器学习和深度学习，有以下优点

“什么在2022年会很受欢迎？我应该学到什么？这篇文章正在参加“谈论2022技术趋势“论文竞赛”

文章简介

通过研究本文，您可以获得以下知识：

什么是转移学习？

用外行的话来说，最合适的是在一个习语中描述它 - 从一个示例中学习并将其应用于其他示例。转移学习利用并整合从相似任务中提取的知识以及从过去积累的宝贵经验中提取的知识，以促进学习新问题的知识。核心是找到现有知识和新知识之间的共同点/相似之处。

看看它。小米学会骑自行车后，可以迅速启动电动自行车和摩托车，但是驾驶汽车需要重新研究。例如，如果您学习编程，则首先学习C语言。凭借C语言的基础，您可以快速学习诸如Python和Java之类的计算机语言，但是C语言对学习日语没有帮助。

在转移学习中，研究人员通常将数据分为源数据和目标数据。源数据是指与要解决的任务无直接相关的其他数据，通常使用较大的数据集。目标数据是与任务直接相关的数据，并且数据量通常很小。上述自行车可以理解为源数据，而摩托车和电动汽车可以理解为目标数据。

转移学习需要做的是充分利用源数据，以帮助模型改善其在目标数据上的性能。

例如，小米正在学习尼尔姆米VI轨迹识别的方向。相关的公共数据集最多可达成千上万的数据。没有针对尼尔姆的预训练模型。但是，有许多图像识别模型，例如Alexnet和VGG-16。 ，googlet和resnet-50等。这些模型是根据数百万张图像进行仔细训练的，如果我们将这些模型迁移到尼尔姆中，它将大大提高尼尔姆轨迹识别的准确性。

如果源域与转移学习中目标域之间的知识相关性很低，则转移学习后的效果相对较差，这称为“负转移”。例如，如果文本数据模型迁移到图像数据模型，则迁移性能相对较差。但是没有解决文本迁移到图像的解决方案。我们可以通过一个或多个中间字段连接两个看似无关的字段。这称为“传递转移学习” **。传递转移学习也是研究人员关注的热门话题之一。

例如，为了实现文本和图像之间的迁移，文档“在第21届ACM SIGKDD国际会议论文集中的传递转移学习Onknowledge Discovery and Data Mining -KDD '15”使用带注释的图像作为中间域。

为什么要转移学习？

在AI（人工智能）和ML（机器学习）领域中，在人工智能中使用的转移学习的动机比以往任何时候都更强，因为它可以解决大量培训数据和培训成本的两个限制。

关于为什么需要转移学习，Wang Jindong教授和其他教授将其概括为四个方面：

大数据与少数标签之间的矛盾：在大数据时代，每时每刻都会生成大量数据，但是数据缺乏完美的数据注释。机器学习模型的培训和更新取决于数据注释，目前只有很少的数据。被标记。大数据和弱计算之间的矛盾：大量数据需要巨大的存储和计算能力，强大的计算能力非常昂贵。此外，大规模数据的培训需要大量时间，这会导致大数据和弱计算。之间的冲突。通用模型和个性化需求之间的矛盾：机器学习的目的是建立一个尽可能一般的模型，以满足不同用户，不同设备和不同环境的不同需求。这要求该模型具有很高的概括功能，但实际上，通用通用模型无法满足个性化和差异化的需求，这会导致模型与个性化需求之间的矛盾。对特定应用程序的要求：实际上，通常会有一些特定的应用程序，例如推荐系统的冷启动问题，这要求我们尽可能使用现有模型或知识来解决问题。

总而言之，当我们使用人工智能解决问题时，最大的障碍是模型培训需要大量数据和参数。一方面，我们通常无法获得构建模型所需的比例数据（带有标签）；另一方面，模型的培训需要大量时间。转移学习可以利用有价值的知识和以前的经验从相似的任务中，以显着提高传统AI技术的学习绩效。

转移学习的优势

总而言之，与以前的机器学习和深度学习相比，转移学习具有以下优势：

转移学习方法分类基于样本转移

基于样本的迁移是根据基于相似性匹配原理从源域数据集中选择与目标域数据相似的样本，然后将这些样本传输到目标域以帮助学习目标域模型，从而求解目标域。通过标签样本或未标记样本的数字不足学习问题。

通常，样品的重量受源域和目标域之间的相似性训练。具有高相似性的源域数据样本被认为与目标域数据相对相关，这对学习目标域数据有益。重量将增加，否则重量将减小。

传统方法是样本加权方法，它使用区分区分源数据与目标数据，内核平均匹配方法，功能估计方法等来估算权重，但是重量对于计算源域和目标的密度比很重要域（MMD和KL等距测量值）。 ），计算很困难

基于模型参数迁移

基于模型的转移学习是源任务和目标任务之间的共同知识共享，包括模型参数，模型先验知识和模型体系结构，分为两类：基于共享模型组件和基于知识传输的知识转移关于正则化。 。前者使用源域的模型组件或超参数来确定目标域模型。后者通过限制模型灵活性来防止模型过度适应。

用外行的术语，首先使用来自源域的大量数据预先训练模型，然后迁移所获得的权重参数，最后使用少量目标数据来重新训练完整的连接层。

基于功能的迁移

特征迁移方法的核心是找到源域和目标域之间的典型特征，以进一步削弱两个域之间的差异并实现跨域迁移和知识的管理。

特征传输方法可以进一步分为特征提取传输学习方法，并根据是否选择了原始功能，并将特征映射传输学习方法分为。优点是可以利用模型之间的相似性，缺点是模型参数不容易收敛。

特征提取迁移方法

定义：重复使用源域中的预训练的本地网络开yunapp体育官网入口下载手机版，并将其转换为目标域深网的一部分。

通常，CNN模型用作特征提取器，然后使用少量数据来微调网络。基于不同的微调策略训练的CNN模型的性能也不同，因此微调策略是这种类型的方法的重点。当前的微调策略主要是多尺度特征转移，并且通过微调不同的网络层来学习目标数据的特征。

特征图迁移方法

定义：从源和目标域到新的数据空间的地图实例，其中两个域的实例具有相似的数据分布，适用于联合深神经网络

特征图传输方法通过调整源域数据的边际分布或条件分布来扩展训练集的规模并增强转移学习的效果来执行特征地图。

与特征提取转移方法相比，特征图传输学习更加繁琐。首先，我们需要在源域和目标域之间找到共同的特征表示，然后将数据从原始特征空间映射到新功能空间。

基于功能的传输学习具有广泛的应用程序，无论源域数据是否具有标签，都可以使用。但是，当数据带有标签时，域不变性的测量值并不容易计算。当数据没有标签时，也很难学习跨域的共同特征。

转移学习的未来前景与生成对抗网络相结合

生成对抗网络（GAN，生成对抗网络）是一个深度学习模型，是近年来对复杂分布的无监督学习的最有前途的方法之一。该模型通过框架中的两个模块的共同游戏学习（至少）：生成模型和判别模型，从而产生了相当不错的输出。

生成对抗网络GAN是一种数据增强方法，近年来已被广泛使用。该方法可以生成类似于实际样本的假样品，以便可以扩展训练样本，并实现改善模型性能的效果。

GAN和转移学习合并形成Dann域对抗网络（下图是Dann域对抗网络的结构）。 Dann域对抗网络直接优化了源域上的损失。通过对抗方法优化源域和目标域之间的HδH距离；最低目标域的损耗上限会转换。但是，对于像Dann这样的网络，培训将相对困难，并且很难从单个源域扩展到多源域，这也是我们以后需要解决的问题。

转移学习与注意机制相结合

注意机制起源于人类视力的研究。在认知科学中，由于信息处理中的瓶颈，人类在忽略其他可见信息的同时选择性地关注所有信息的一部分。注意机制有两个主要方面：确定需要注意投入的哪一部分；将有限的信息处理资源分配给重要部分。 ———百度百科全书

文档“对域适应性的可转移注意”提出了TADA（下图是TADA结构图）方法，以选择可以通过注意力机制传输的图像和图像中的区域以提高模型性能。并提出了两个迁移过程以及注意机制：可转移的本地关注和可转移的全球关注

注意机制可以在一定程度上提高模型的准确性，但也可以占据过多的计算资源。因此，近年来已经提出了各种轻巧的注意机制，但是轻巧的注意机制将失去某种模型的准确性。因此，如何更有效地将轻巧的注意机制与转移学习方法相结合，同时确保准确性是一个需要研究的问题。

转移学习与联合学习结合

联合学习是一种机器学习设置，许多客户在中央服务器协调下共同培训模型，同时维持培训数据的分散和分散化。联合学习的长期目标：从多个数据所有者中分析和学习数据而不暴露它们。 （目的：解决数据孤岛）

在2020年全球人工智能和机器人峰会（“ CCF-GAIR 2020”）上，Yang Qiang教授介绍了联合学习的关键技术和应用程序案例，并进一步介绍了有关联邦学习和转移学习组合的最新研究以及下一项关键研究方向。

Yang Qiang教授说，我们建造的AI不能与人分开，保护人们的隐私是目前AI发展的特别重要点开yun体育官网入口登录app，这也是政府对个人，企业和社会的要求。此外，AI还必须保护模型的安全性。 ，防止恶意或非恶意攻击。数据隐私已成为AI必须克服的困难障碍。

联邦转移学习（FTL）通过应用同态加密和多项式近似而不是差异隐私，为特定行业提供了一种更安全开yun体育官网入口登录体育，更可靠的方法。同时，基于转移学习的特征，FTL的参与者可以拥有自己的功能空间，而不会强迫所有参与者拥有或使用具有相同功能的数据，这使得FTL适合于更多的应用程序场景。

转移学习领域指标的研究

因为转移学习的表现在很大程度上取决于域之间的相似性。因此，公制方法的研究是未来转移学习研究的重要领域之一。测量的准确性和易于计算将影响转移学习的发展。

多源域迁移知识

仅从一个源域转移知识是有限的。如果可以实现多个领域的知识学习，则可以将多个学习和转移学习结合在一起，这可以增加找到和学习目标领域的更多有益知识，从而改善转移的机会。学习效率和学习的效果使转移学习更安全，更稳定，从而有效地避免了负面转移的发生。

总结

作为一个新兴的研究领域，转移学习通过使用原始知识来帮助培训目标领域具有出色的性能。转移学习也可以与许多方法相结合，例如联合学习，注意机制等，它们具有出色的性能。转移学习也有许多问题和挑战：负转移问题不能提高模型能力，而是降低准确性；场之间的测量太复杂了，没有良好的测量方法等。

但是，正如斯坦福大学教授安迪·恩格（Andy Ng）曾在2016年NIPS会议上所说的那样：“转会学习将遵循下一个在监督学习后成功的机器学习业务的驱动力。”随着研究的加深，转移学习将成为人工智能，这是该领域的另一个闪烁的恒星。

参考链接后录

我是一个战场小袋子，一个小的前端，正在迅速增长。我希望我能与所有人取得进步。

如果您喜欢Xiaobao，则可以在掘金上关注我，也可以关注我的小官方帐户-Xiaobao Xuefang。

来吧，前往未来！！！

流行病很快结束，恢复了世界的和平