Transformer 架构
Transformer框架 2.1 注意力机制 2.1.1 什么是注意力机制 从计算机视觉为起源发展起来的神经网络,其核心架构有三种 前馈神经网络（Feedforward Neural Network，FNN），即数据从输入层单向流动到输出层，无循环结构，各层之间通过全连接或特定方式传递信息，其中多层感知机（Multi-Layer Perceptron，MLP）是最常见的形式，每一层的神经元都和上下两层的每一个神经元完全连接，如图2.1所示: ...
LLM
Transformer
LLM · 预训练语言模型（PLM）
第三章 预训练语言模型(PLM) 3.1 Encoder-only PLM 3.1.1 BERT( Bidirectional Encoder Representations from Transformers) 由Google发布的,引领了预训练+微调的的潮流 (1)思想沿承 统一了多种思想的预训练框架,包括: Transformer架构: 通过在Transformer的模型基座上进行优化,将Encoder的结构进行堆叠,扩大模型参数 预训练+微调范式: ELMo模型基于LSTM双向架构 而BERT则将模型框架调整为了Transformer,引入了更适合文本理解,能捕捉深层双向语义的预训练任务MLM ...
LLM