一文读懂 Transformer 神经采集模子

故故者：Luga Lee 2023-09-17 23:09:24人造智能 自从最新的文读大型说话模子的揭橥，譬喻 OpenAI 的神经 GPT 系列、户口源模子 Bloom 以及谷歌揭橥的采集塞尔达王国之泪辱华 LaMDA 等，Transformer 模子曾经阐述出了其重大的文读潜力，并成为深度陶冶领域的神经预兆结构规范。

Hello folks，采集我是文读 Luga，此日我们来聊一下人造智能(AI)生态领域相故故的神经身手 - Transformer 神经采集模子 。

自从最新的采集大型说话模子(LLaM)的揭橥，譬喻 OpenAI 的文读 GPT 系列、户口源模子 Bloom 以及谷歌揭橥的神经 LaMDA 等，Transformer 模子曾经阐述出了其重大的采集潜力，并成为深度陶冶领域的文读预兆结构规范。

一、神经什么是采集 Transformer 模子 ?

在过去几年中，Transformer 模子曾经成为高级深度陶冶和深度神经采集领域的热门话题。自从其在 2017 年被引入倚赖，Transformer 深度陶冶模子结构曾经在险些集体能够的领域中赢得了魁伟运用和演进。该模子不只在自然说话责罚管事中露出额外，还马虎此外领域，越发是期间序列预测方面，也拥有重大的附和和潜力。

那么，什么是 Transformer 神经采集模子?

Transformer 模子是一种深度陶冶结构，自 2017 年推出倚赖，通盘迁移了自然说话责罚 (NLP) 领域。该模子由 Vaswani 等人疏间，并已成为 NLP 界最具训诲力的模子之一。

通常而言，粗笨的顺次模子(譬喻轮回神经采集 (RNN))在逮捕长途倚赖性和落成并行预备方面糊口限度性。为领略决这些题目，Transformer 模子引入了自瞩视力机制，塞尔达王国之泪辱华通过魁伟骗捏该机制，模子能够在生成输出时量度输入序列中迥异职位的首要性。

Transformer 模子通过自瞩视力机制和并行预备的优势，能够更好地责罚长隔绝倚赖说合，长进了模子的陶冶和推理结果。它在迟钝翻译、文本纲领、问答编制等多个 NLP 管事中赢得捏了显赫的职能擢升。

除此以外，Transformer 模子的突破性露出使得它成为现代 NLP 钻探和运用华厦首要组成部门。它能够逮捕错乱的语义说合和高低文音问，极大地鼓舞了自然说话责罚的长进。

二、Transformer 模子汗青长进

Transformer 在神经采齐集的汗青能够追究到20世纪90想法初，那时 Jürgen Schmidhuber 疏间了第一个 Transformer 模子的概记挂。这个模子被称为"连辛苦权重限度器"，它采纳了自瞩视力机制来陶冶句子中单词之间的说合。然而，纵然这个早期的 Transformer 模子在概记挂上是祖宗的，但鉴于其结果较低，它并未赢得魁伟的运用。

随着期间的推移和深度陶冶身手的长进，Transformer 在2017年的一篇户口创性论文中被郑重引入，并赢得捏了重大的获胜。通过引入自瞩视力机制和职位编码层，灵验地逮捕输入序列华厦长隔绝倚赖说合，而且在责罚长序列时露出额外。此外，Transformer 模子的并行化预备能力也使得陶冶速率更快，鼓舞了深度陶冶在自然说话责罚领域的首要突破，如迟钝翻译管事华厦BERT(Bidirectional Encoder Representations from Transformers)模子等。

所以，纵然早期的"连辛苦权重限度器"并未受到魁伟运用，但通过 Vaswani 等人的论文，Transformer 模子赢得了重新界说和革新，成为现代深度陶冶的预兆身手之一，并在自然说话责罚等领域赢得捏了真凭实据的赚钱。

Transformer 之是以这样获胜，是鉴于它能够陶冶句子中单词之间的长隔绝倚赖说合，这马虎许多自然说话责罚(NLP)管事至关首要，鉴于它许可模子领路单词在句子华厦高低文。Transformer 簸弄自瞩视力机制来落成这极少，该机制使得模子在解码输出记号时能够聚焦于句子中最相故故的单词。

Transformer 对 NLP 领域生长了首要训诲。它而今被魁伟运用于许多 NLP 管事，而且连缀进行革新。来日，Transformer 很能够被用于解阁阁更魁伟的 NLP 管事，而且它们将变得额外高效和重大。

联系神经采集 Transformer 汗青上的极少症结长进变乱，我们可参考如下所示：

• 1990年：Jürgen Schmidhuber 疏间了第一个 Transformer 模子，即"连辛苦权重限度器"。
• 2017年：Vaswani 等人颁布了论文《Attention is All You Need》，先容了 Transformer 模子的重点情想。
• 2018年：Transformer 模子在种种 NLP 管事中赢得捏了首祖宗的结果，蕴涵迟钝翻译、文本纲领和问答等。
• 2019年：Transformer 被用于设立大型说话模子(LLM)，譬喻 BERT 和 GPT-2，这些模子在种种 NLP 管事中赢得捏了首要突破。
• 2020年：Transformer 连缀被用于设立更重大的模子，譬喻 GPT-3，它在自然说话生成和领路方面赢得捏了惊人的见效。

总的来说，Transformer 模子的引入马虎 NLP 领域生长了革新性的训诲。它的能力在于陶冶长隔绝倚赖说统一领路高低文，使得它成为繁多 NLP 管事的首选设施，并为来日的长进提供了舒缓的能够性。

三、Transformer 模子通用结构设计

Transformer 结构是从 RNN(轮回神经采集)的编码器-解码器结构中汲捏灵感而来，其引入了瞩视力机制。它被魁伟运用于序列到序列(seq2seq)管事，而且相比于 RNN， Transformer 遗弃了顺次责罚的花式。

迥异于 RNN，Transformer 以并行化的花式责罚数据，从而落成更大领域的并行预备和更连辛苦的陶冶。这赚钱于 Transformer 结构华厦自瞩视力机制，它使得模子能够同期酌量输入序列华厦集体职位，而无需按顺次逐渐责罚。自瞩视力机制许可模子遵照输入序列华厦迥异职位之间的说合，对每个职位进行加权责罚，从而逮捕集体高低文音问。

class EncoderDecoder(nn.Module):    """    A standard Encoder-Decoder architecture. Base for this and many     other models.    """    def __init__(self, encoder, decoder, src_embed, tgt_embed, generator):        super(EncoderDecoder, self).__init__()        self.encoder = encoder        self.decoder = decoder        self.src_embed = src_embed        self.tgt_embed = tgt_embed        self.generator = generator            def forward(self, src, tgt, src_mask, tgt_mask):        "Take in and process masked src and target sequences."        return self.decode(self.encode(src, src_mask), src_mask,                            tgt, tgt_mask)        def encode(self, src, src_mask):        return self.encoder(self.src_embed(src), src_mask)        def decode(self, memory, src_mask, tgt, tgt_mask):        return self.decoder(self.tgt_embed(tgt), memory, src_mask, tgt_mask)

class Generator(nn.Module):    "Define standard linear + softmax generation step."    def __init__(self, d_model, vocab):        super(Generator, self).__init__()        self.proj = nn.Linear(d_model, vocab)    def forward(self, x):        return F.log_softmax(self.proj(x), dim=-1)

针对 Transformer 的模子通用结构，我们可參考如下所示：

基于如上的 Transformer 深度陶冶模子的饱读堂结构参考模子图，我们能够顾念记挂到：它由两个症结组件组成：

1.编码器旅店

这是由 Nx 个雷同的编码器层组成的旅店(在原始论文中，Nx=6)。每个编码器层都由两个子层组成：多头自瞩视力机制和前馈神经采集。多头自瞩视力机制用于对输入序列华厦迥异职位之间的说合进行建模，而前馈神经采集则用于对每个职位进行非线性退换。编码器旅店的浸染是将输入序列退换为一系列高级特质露出。

Transformer 编码器的饱读堂结构。我们在 Transformer 编码器中骗捏通盘职位镶嵌，险些可参考如下：

2.解码器旅店

这亦然由 Nx 个雷同的解码器层组成的旅店(在原始论文中，Nx=6)。每个解码器层除了贮蓄编码器层的两个子层外，还贮蓄一个额外的多头自瞩视力机制子层。这个额外的自瞩视力机制用于对编码器旅店的输出进行眷注，并附迁就码器对输入序列华厦音问进行解码和生成输出序列。

在编码器迁就码器旅店之间，还有一个职位编码层。这个职位编码层的浸染是簸弄序列的顺次音问，为输入序列华厦每个职位提供一个固定的编码露出。这样，模子能够在莫得递归或卷积独霸的状态下，簸弄职位编码层来责罚序列的顺次音问。

Transformer 解码器的饱读堂结构，险些可参考如下所示：

在本质的场景中，两者的互动说合如下：

四、什么是 Transformer 神经采集?

真凭实据，Transformer 在责罚文本序列、基因组序列、音响和期间序列数据等神经采集设计中起着症结浸染。此中，自然说话责罚是 Transformer 神经采集最常见的运用领域。

当给定一个向量序列时，Transformer 神经采集会对这些向量进行编码，并将其解码回原始神采。而 Transformer 的瞩视力机制则是其不行或缺的重点组成部门。瞩视力机制说赫然在输入序列中，马虎给定记号的编码，其边际此外记号的高低文音问的首要性。

打个譬喻，在迟钝翻译模子中，瞩视力机制使得 Transformer 能够遵照集体相故故单词的高低文，将英语华厦"it"确实翻译为法语或西班牙语华厦性别对应的词汇。 Transformers 能够簸弄瞩视力机制来笃定若何翻译面前单词，同期酌量其边际单词的训诲。

然而，须要瞩目的是，Transformer 神经采集调换了早期的轮回神经采集(RNN)、长短期追究(LSTM)和门控轮回单元(GRU)等模子，成为了更为祖宗和灵验的采纳。

通常而言，Transformer 神经采集领受输入句子并将其编码为两个迥异的序列：

1.词向量镶嵌序列

词向量镶嵌是文本的数字露出神采。在这种状态下，神经采集只能责罚退换为镶嵌露出的单词。字典华厦单词在镶嵌露出中露出为向量。

2.职位编码器序列

职位编码器将原始文本中单词的职位露出为向量。Transformer 将词向量镶嵌和职位编码麇集起来。而后，它将陆续结果发送到各个编码器，而后是解码器。

与 RNN 和 LSTM 按顺次提供输入迥异，Transformer 同期提供输入。每个编码器将其输入退换为另一个向量序列，称为编码。

解码器以相背的顺次职业。它将编码退换回概率，并遵照概率生成输出单词。通过骗捏 softmax 函数，Transformer 能够遵照输出概率生成句子。

每个解码器和编码器中都有一个称为瞩视力机制的组件。它许可一个输入单词骗捏此外单词的相故故音问进行责罚，同期障蔽不贮蓄相故故音问的单词。

为了饱读赢余用 GPU 提供的并行预备能力，Transformer 骗捏多头瞩视力机制进行并行落成。多头瞩视力机制许可同期责罚多个瞩视力机制，从而长进预备结果。

相比于 LSTM 和 RNN，Transformer 深度陶冶模子的优势之一是能够同期责罚多个单词。这赚钱于 Transformer 的并行预备能力，使得它能够更高效地责罚序列数据。

五、常见的 Transformer 模子

结果而今，Transformer 是构建寰宇上大大量首祖宗模子的症结结构之一。它在各个领域赢得捏了重大获胜，蕴涵但不限于以下管事：语音辩别到文本退换、迟钝翻译、文本生成、释义、问答和感情领路。这些管事中阐述出了极少最显赫和最驰名的模子。

基于 Transformer 的模子编制图

1.BERT(双向编码器露出的 Transformer )

行径一种由 Google 设计的身手，针对自然说话责罚而拓荒，基于预陶冶的 Transformer 模子，面前被魁伟运用于种种 NLP 管事中。

在此项身手中，双向编码器露出迁移为了自然说话责罚的首要里程碑。通过预陶冶的 Transformer 模子，双向编码器露出(BERT)在自然说话领路管事中赢得捏了显赫的突破。BERT 的道理这样首要，甚至于在 2020 年，险些每个英语究诘在 Google 采集引擎中都采纳了 BERT 身手。

BERT 的重点情想是通过在大领域无标签的文本数据长进行预陶冶，使模子陶冶到良好的说话露出。BERT 模子齐全双向性，能够同期酌量一个词在高低文采厦左侧和右侧音问，从而更好地逮捕词语的语义和语境。

BERT 的获胜记号着 Transformer 结构在 NLP 领域的首要职位，并在本质运用中赢得捏了重大的训诲。它为自然说话责罚领域带来了首要的长进，并为采集引擎等运用提供了更详细、更智能的语义领路。

2.GPT-2 / GPT-3(生成预陶冶说话模子)

生成式预陶冶 Transformer 2和3阔别代表了首祖宗的自然说话责罚模子。此中，GPT(Generative Pre-trained Transformer)是一种户口源的 AI 模子，细心于责罚自然说话责罚(NLP)相故故管事，如迟钝翻译、问答、文本纲领等。

上述两个模子的最显赫迥异在于“领域”和“职能”。险些而言，GPT-3 是最新的模子，相比于 GPT-2，其引入了许多新的职能和革新。除此以外，GPT-3 的模子容量达到了惊人的 1750 亿个迟钝陶冶参数，而 GPT-2 惟有 15 亿个参数。

齐全这样重大的参数容量，GPT-3 在自然说话责罚管事中阐述出了令人赞佩的职能。它齐全更重大的说话领路和生成能力，能够更详细地领路和生成自然说话文本。此外，GPT-3 在生成文本方面尤为额外，能够生成连贯、阔气逻辑的著述、对话和故事。

GPT-3 的职能擢升赚钱于其首要的参数领域和更祖宗的结构设计。它通过在大领域文本数据长进行预陶冶，使得模子能够陶冶到更长远、更通盘的说话知识，从而使得 GPT-3 能够成为而今最重大、首祖宗的生成式预陶冶 Transformer 模子之一。

自然，除了上面的 2 个重点模子外，T5、BART 和 XLNet 亦然 Transformer(Vaswani 等人，2017)家眷的成员。这些模子簸弄 Transformer 的编码器、解码器或两者来进行说话领路或文本生成。鉴于篇幅起因，暂不在本篇博文中赘述。

六、Transformer 模子并不是完美的

与基于 RNN 的 seq2seq 模子相比，纵然 Transformer 模子在自然说话责罚领域赢得捏了重大的获胜，然而，其自身也糊口极少限度性，症结蕴涵以下几个方面：

1.高预备资源须要

Transformer 模子通常须要豪爽的预备资源进行陶冶和推理。鉴于模子参数繁多且错乱，须要显赫的预备能力和存储资源来赞助其运转，从而使得在资源受限的环境下运用 Transformer 模子变得相对麻烦。

2.长文本责罚麻烦

在某些特定的场景下，鉴于 Transformer 模子中自瞩视力机制的特质，其马虎长文本的责罚糊口肯定的麻烦。随着文本长度的施行，模子的预备错乱度和存储须要也会显赫施行。所以，马虎超长文本的责罚，Transformer 模子能够谋面对职能降落或无法责罚的题目。

3.障碍本质推理机制

在本质的贸易场景中，Transformer 模子通常是通过在大领域数据长进行预陶冶，而后在特定管事长进行微调来落成高职能，从而使得模子在本质推理进程中马虎新领域或特定管事的顺应性有限。所以，马虎新领域或特定管事，我们频繁须要进行额外的陶冶或转圜，以长进模子的职能。

4.对陶冶数据的倚赖性

Transformer 模子在预陶冶阶段须要豪爽的无标签数据进行陶冶，这使得马虎资源受限或特定领域数据稀缺的状态下运用 Transformer 模子变得麻烦。此外，模子马虎陶冶数据的质量和百般性也有肯定的倚赖性，迥异质量和领域的数据能够会对模子的职能生长训诲。

5.障碍知识推理和推理能力

纵然 Transformer 模子在说话生成和领路管事上赢得捏了显赫长进，但其在知识推理和推理能力方面照样糊口肯定的限度性。模子在责罚错乱推理、逻辑臆想和笼统推理等管事时能够露出不美，须要进一步的钻探和革新。

纵然糊口这些限度性，Transformer 模子照样然是面前最获胜和首祖宗的自然说话责罚模子之一，为许多 NLP 管事提供了重大的解阁阁有辩论。来日的钻探和长进致力将有助于驯服这些限度性，并鼓吹自然说话责罚领域的进一步长进。

责任编辑：赵宁宁 源泉： 结构驿站 Transforme深度陶冶