GPT-3 完整介绍及示例-USB迷|专注于互联网分享

2024年4月2日发(作者：褒晴画)

GPT-3 是令人兴奋和通用的语言模型之一，它几乎无所不能。 OpenAI 于 2020 年

6 月发布，它可以执行大量任务，例如语言翻译、问答、代码生成、文本摘要、推文分类

等。

主要专长在于预测的准确性，这与人类的准确性几乎相似且无法区分。不仅如此，它

还可以通过仅提供几个示例来快速适应新的自然语言任务。问题是，一个模型如何能够以

极高的准确性执行如此多的任务？让我们弄清楚。

GPT-3 表现如此出色的主要原因之一是因为它是用 1750 亿个参数创建的，这是迄

今为止庞大的神经网络。此外，它已经使用互联网上几乎所有可用的数据进行了训练，因

此具有超强的适应性。

什么是 GPT-3？

GPT（生成式预训练）语言模型基于 Transformer 架构，其中包含用于解决多任务

问题的零/一/少数镜头设置。这意味着，他们可以通过零/一个/几个示例快速习惯新任务。

GPT-3 的架构是对之前的同类产品 GPT-1 和 GPT-2 的即兴创作。最初的 GPT-1

模型是通过无监督预训练和监督微调来开发的，以适应单个任务。后来，引入了 GPT-2 模

型，该模型不需要对特定任务进行监督微调，并且可以很好地处理多个任务。

最后，GPT-3 模型具有类似的底层架构，但深度大大增加（比 GPT 2 大 100 倍以

上）。它训练过的一些大型数据集是——CommonCrawl、Wikipedia 和 WebText。因此，

海量数据和模型的巨大深度是其多功能性的关键。

现在，让我们直接进入实现部分。

GPT的 OpenAI API–3

您可能知道，GPT–3 模型非常强大。因此，出于安全原因，该代码尚未作为开源提供。

相反，OpenAI 发布了一个 beta API，人们可以通过它访问和试验语言模型的不同功能。

要访问 API，您需要在此处创建一个帐户并加入候补名单。一旦被接受，您就可以生

成自己的 API 密钥令牌并使用它来玩各种示例。在这里，我们将详细介绍三个不同的示例

——从自然语言到 SQL 查询、高级推文分类和聊天机器人。

让我们首先了解一些为 GPT–3 API 编码奠定基础的编程范式。

1. API 的输入和建模部分是按照提示和完成来构建的。

提示基本上是传递的输入。它可以根据您希望模型执行的任务类型进行定制设计。

API 的完成端点返回提示的完成（预期结果）。它支持多种任务，例如代码生成、文本

摘要等。

2. 提示的最大长度限制为 2048 个标记或 1500 个单词。标记只是单词本身或构成

单词子集的几个字符。

3. API 还提供了多种模型可供选择——Davinci、Babbage、Ada 和 Curie。其中，

就准确性而言，Davinci 是强大的模型，而 Ada 恰好是速度快的。