科技魔方

AI百科:CHATGPT的工作原理

数字时代

2023年02月13日

  By Benjamin Hendricks

  ChatGPT迅速获得了数百万人的关注,但许多人都持谨慎态度,因为都不了解它的工作原理。而本文就是试图将其分解,以便更容易理解。

  然而,就其核心而言,ChatGPT是一个非常复杂的系统。如果想要玩ChatGPT或者想弄懂它是什么,核心界面是一个聊天窗口,可以在其中提问或提供查询,AI会做出回应。要记住的一个重要细节是,在聊天中,上下文会被保留,这意味着消息可以引用先前的信息,而ChatGPT将能够根据上下文地理解这一点。

  当在聊天框中输入查询时会发生什么?

  神经网络

  首先,在ChatGPT的框架下,有很多东西待发现。机器学习在过去10年里一直在迅速发展,ChatGPT利用了许多最先进的技术来实现其结果。

  神经网络是相互连接的“神经元”层,每个神经元负责接收输入、处理输入,并将其传递给网络中的下一个神经元。神经网络构成了当今人工智能的支柱。输入通常是一组称为“特征”的数值,表示正在处理的数据的某些方面。例如,在语言处理的情况下,特征可能是表示句子中每个单词的含义的词嵌入。

  词嵌入只是一种文本的数字表示,神经网络将使用它来理解文本的语义,然后可以将其用于其他目的,比如以语义逻辑的方式进行响应!

  因此,在ChatGPT中按回车键后,该文本首先被转换为词嵌入,这些词嵌入是在整个互联网上的文本上进行训练的。然后有一个经过训练的神经网络,在给定输入词嵌入的情况下,输出一组合适的响应词嵌入。然后,使用应用于输入查询的逆操作将这些嵌入入翻译成人类可读的单词。这个解码后的输出就是ChatGPT打印出来的内容。

  ChatGPT模型大小

  转换和输出生成的计算成本非常高。ChatGPT位于GPT-3之上,GPT-3是一个拥有1750亿个参数的大型语言模型。这意味着在OpenAI使用其大型数据集调整的广泛神经网络中有1750亿个权重。

  因此,每个查询至少需要两次1750亿次计算,这加起来很快。OpenAI可能已经找到了一种方法来缓存这些计算以降低计算成本,但不知道这些信息是否已经发布到任何地方。此外,预计将于今年年初发布的GPT-4,据称参数增加了1000倍!

  计算复杂性会导致实际成本!如果ChatGPT很快成为付费产品,不必感到惊讶,因为OpenAI目前正在花费数百万美元免费运营它。

  编码器、解码器和RNN

  自然语言处理中常用的一种神经网络结构是编码器-解码器网络。这些网络的设计目的是将输入序列“编码”为紧凑表示,然后将该表示“解码”为输出序列。

  传统上,编码器-解码器网络已经与循环神经网络(RNN)配对,用于处理顺序数据。编码器处理输入序列并产生固定长度的向量表示,然后将其传递给解码器。解码器处理这个向量并产生输出序列。

AI百科:CHATGPT的工作原理

  编码器-解码器网络已广泛应用于机器翻译等任务,其中输入是一种语言的句子,输出是将该句子翻译成另一种语言。它们也被应用于摘要和图像说明生成任务。 Transformer模型和Attention机制

  与编码器-解码器结构类似,变压器包括两个组件;然而,转换器的不同之处在于它使用一种自关注机制,允许输入的每个元素关注所有其他元素,从而允许它捕获元素之间的关系,而不管它们彼此之间的距离如何。

  Transformer还使用多头注意力,允许它同时关注输入的多个部分。这使得它能够捕获输入文本中的复杂关系并产生高度准确的结果。

  在2017年发表“Attention is All You Need”论文时, Transformer取代了编码器-解码器架构,成为自然语言处理的最先进模型,因为它可以在较长的文本中实现更好的性能。

AI百科:CHATGPT的工作原理

  Transformer架构,来自https://arxiv.org/pdf/1706.03762.pdf 生成式预训练

  生成式预训练是一种在自然语言处理领域特别成功的技术。它涉及以无监督的方式在海量数据集上训练广泛的神经网络,以学习数据的通用表示。这个预训练网络可以针对特定任务进行微调,比如语言翻译或问答,从而提高性能。

AI百科:CHATGPT的工作原理

  生成式预训练架构,摘自《通过生成式预训练提高语言理解能力》

  在ChatGPT的例子中,这意味着对GPT-3模型的最后一层进行微调,以适应在聊天中回答问题的用例,这也利用了人工标记。下图可以更详细地了解ChatGPT微调:

AI百科:CHATGPT的工作原理

  ChatGPT 微调步骤,来自https://arxiv.org/pdf/2203.02155.pdf 把一切结合在一起

  因此,在ChatGPT的框架下有许多活动部件,这些部件只会不断增长。看到它如何继续发展将是非常有趣的,因为许多不同领域的进步将帮助类似GPT的模型获得进一步的采用。

  在接下来的一两年里,我们可能会看到这种新的使能技术带来的重大颠覆。

+1

来源:千家网

推荐文章