NLP 基础概念
第一章：NLP基础概念 NPL: Natural Language Processing(自然语言处理) 使计算机能够理解和处理人类语言,实现人机交流 从早期的基于规则的方法,到后来的统计学习方法,再到当前深度学习技术的广泛应用 文本表示作为NPL的核心技术之一,对于NPL系统的性能提升具有决定性的作用 ...
LLM
LLM
大语言模型学习笔记：NLP 基础、注意力机制与 Transformer 架构实现。
Transformer 架构
Transformer框架 2.1 注意力机制 2.1.1 什么是注意力机制 从计算机视觉为起源发展起来的神经网络,其核心架构有三种 前馈神经网络（Feedforward Neural Network，FNN），即数据从输入层单向流动到输出层，无循环结构，各层之间通过全连接或特定方式传递信息，其中多层感知机（Multi-Layer Perceptron，MLP）是最常见的形式，每一层的神经元都和上下两层的每一个神经元完全连接，如图2.1所示: ...
LLM
LLM · 预训练语言模型（PLM）
第三章 预训练语言模型(PLM) 3.1 Encoder-only PLM 3.1.1 BERT( Bidirectional Encoder Representations from Transformers) 由Google发布的,引领了预训练+微调的的潮流 (1)思想沿承 统一了多种思想的预训练框架,包括: Transformer架构: 通过在Transformer的模型基座上进行优化,将Encoder的结构进行堆叠,扩大模型参数 预训练+微调范式: ELMo模型基于LSTM双向架构 而BERT则将模型框架调整为了Transformer,引入了更适合文本理解,能捕捉深层双向语义的预训练任务MLM ...
LLM
LLM · 大语言模型
第四章 大语言模型 4.1 什么是LLM 4.4.1 LLM的定义 一般来说,拥有更庞大的参数,在更海量的语料上进行预训练 广义的 LLM 一般覆盖了从十亿参数（如 Qwen-1.5B）到千亿参数（如 Grok-314B）的所有大型语言模型。只要模型展现出涌现能力，即在一系列复杂任务上表现出远超传统预训练模型（如 BERT、T5）的能力与潜力，都可以称之为 LLM。 ...
LLM