核心要点
- 泛化能力对于深度学习至关重要，它保证模型在面对新数据时能做出精准的预测。零样本学习通过让人工智能在缺乏标注数据的情况下，利用现有知识预测新的或未知的类别，从而助力实现这一目标。
- 零样本学习模拟人类学习和处理信息的方式。通过提供额外的语义信息，预训练模型能准确识别新类别，就像人类通过了解特征就能识别空心吉他一样。
- 零样本学习通过增强泛化性、可扩展性，减少过拟合和提高成本效益来改进人工智能。它使得模型可以在更大的数据集上训练，通过迁移学习获取更多知识，更好地理解上下文，并减少对大量标注数据的需求。随着人工智能的进步，零样本学习在解决各个领域的复杂问题时将扮演更加重要的角色。
深度学习的主要目标之一是训练出具有广泛知识的模型。泛化能力至关重要，因为它确保模型能够学习到有意义的模式，并在面对新数据或未知数据时做出准确的预测或决策。训练此类模型通常需要大量标注数据。然而，这些数据可能成本高昂、耗时费力，甚至在某些情况下是不可获取的。
零样本学习的出现正是为了弥补这一差距，它允许人工智能在缺乏标注数据的情况下，利用其现有知识做出相当准确的预测。
什么是零样本学习？
零样本学习是一种特殊的迁移学习技术。它专注于利用预训练模型来识别新的或之前未曾见过的类别，只需提供描述新类别细节的补充信息即可。
通过利用模型对某些主题的通用知识，并为其提供关于需要识别内容的额外语义信息，模型应该能够相当准确地识别其任务目标。
例如，假设我们需要识别斑马。然而，我们没有可以识别这种动物的模型。因此，我们训练一个预先存在的模型来识别马，并告诉模型：带有黑白条纹的马就是斑马。当我们开始通过输入斑马和马的图像来让模型进行推断时，模型很有可能会正确识别每种动物。
与许多深度学习技术一样，零样本学习模仿了人类学习和处理数据的方式。众所周知，人类天生就是零样本学习者。如果您的任务是在乐器店里寻找一把空心吉他，您可能会在寻找时遇到困难。但是，一旦有人告诉您，空心吉他的琴体两侧或一侧有F形孔，您可能立即就能找到一把。
为了举一个现实生活中的例子，让我们使用开源LLM托管网站Hugging Face的零样本分类应用程序，该应用程序使用Clip-vit-large模型。
这张图片描绘的是一个装在婴儿高脚椅上的杂货袋中的面包。由于该模型是在大型图像数据集上训练的，它很可能能够识别照片中的每个物品，例如面包、杂货、椅子和安全带。
现在，我们希望模型使用以前未见过的类别来对图像进行分类。在这种情况下，新的或未知的类别是“放松的面包”、“安全的面包”、“坐着的面包”、“驾驶杂货店”和“安全的杂货店”。
请注意，我们特意使用了不常见且未见过的类别和图像来演示零样本分类在图像上的有效性。
在模型进行推理后，它能够以大约80%的确定性将图像最合适的分类为“安全的面包”。这可能是因为模型认为高脚椅比坐着、放松或驾驶更安全。
令人惊叹！我个人也认同模型的输出。但是，模型究竟是如何得出这样的结论的呢？以下是对零样本学习工作原理的总体概述。
零样本学习的工作原理
零样本学习可以帮助预训练模型识别新的类别，而无需提供标记数据。最简单的形式是，零样本学习通过三个步骤完成：
1. 准备工作
零样本学习从准备三种类型的数据开始：
- 已见类别：用于训练预训练模型的数据。模型已经接触过这些可见的类别。零样本学习的最佳模型是在与您希望模型识别的新类别密切相关的类别上进行训练的模型。
- 未见/新类别：模型训练期间从未使用过的数据。您必须自己管理这些数据，因为您无法从模型中获取。
- 语义/辅助数据：可以帮助模型识别新类别的额外数据。它可以是单词、短语、单词嵌入或类别名称。
2. 语义映射
下一步是绘制出未见类别的特征。这是通过创建词嵌入并制作语义图来完成的。该语义图将未见类别的属性或特征与提供的辅助数据联系起来。人工智能的迁移学习使得这个过程更快，因为与未见类别相关的许多属性已经进行了映射。
3. 推理
推理是使用模型来生成预测或输出。在零样本图像分类中，词嵌入是在给定的图像输入上生成的，然后绘制出来并与辅助数据进行比较。确定性水平将取决于输入和所提供的辅助数据之间的相似性。
零样本学习如何改进人工智能
零样本学习通过解决机器学习中的多个挑战来改进人工智能模型，包括：
- 改进泛化能力：减少对标注数据的依赖，可以在更大的数据集上训练模型，从而提高泛化能力并使模型更加稳健可靠。随着模型变得更有经验和更具通用性，甚至有可能学习常识，而不是分析信息的传统方式。
- 可扩展性：模型可以不断地被训练并通过迁移学习获得更多知识。公司和独立研究人员可以不断改进他们的模型，以便在未来变得更加强大。
- 减少过拟合的可能性：由于模型是在小数据集上训练的，而该数据集不包含足够的多样性来表示所有可能的输入，因此可能会发生过拟合。通过零样本学习来训练模型，并通过训练模型更好地了解主题的上下文，可以减少过拟合的机会。
- 成本效益：提供大量的标注数据可能需要时间和资源。通过使用零样本迁移学习，可以使用更少的时间和标注数据来训练稳健的模型。
随着人工智能的进步，零样本学习等技术将变得更加重要。
零样本学习的未来
零样本学习已成为机器学习的一个重要组成部分。它使得模型无需显式训练即可识别和分类新类别。随着模型架构、基于属性的方法和多模态集成的持续进步，零样本学习可以极大地帮助模型在应对机器人技术、医疗保健和计算机视觉等领域的复杂挑战时更具适应性。