Transformer 架构
Transformer框架 2.1 注意力机制 2.1.1 什么是注意力机制 从计算机视觉为起源发展起来的神经网络,其核心架构有三种 前馈神经网络（Feedforward Neural Network，FNN），即数据从输入层单向流动到输出层，无循环结构，各层之间通过全连接或特定方式传递信息，其中多层感知机（Multi-Layer Perceptron，MLP）是最常见的形式，每一层的神经元都和上下两层的每一个神经元完全连接，如图2.1所示: ...
LLM
Transformer框架 2.1 注意力机制 2.1.1 什么是注意力机制 从计算机视觉为起源发展起来的神经网络,其核心架构有三种 前馈神经网络（Feedforward Neural Network，FNN），即数据从输入层单向流动到输出层，无循环结构，各层之间通过全连接或特定方式传递信息，其中多层感知机（Multi-Layer Perceptron，MLP）是最常见的形式，每一层的神经元都和上下两层的每一个神经元完全连接，如图2.1所示: ...