第三章 预训练语言模型(PLM) 3.1 Encoder-only PLM 3.1.1 BERT( Bidirectional Encoder Representations from Transformers) 由Google发布的,引领了预训练+微调的的潮流 (1)思想沿承 统一了多种思想的预训练框架,包括: Transformer架构: 通过在Transformer的模型基座上进行优化,将Encoder的结构进行堆叠,扩大模型参数 预训练+微调范式: ELMo模型基于LSTM双向架构 而BERT则将模型框架调整为了Transformer,引入了更适合文本理解,能捕捉深层双向语义的预训练任务MLM ...
第四章 大语言模型 4.1 什么是LLM 4.4.1 LLM的定义 一般来说,拥有更庞大的参数,在更海量的语料上进行预训练 广义的 LLM 一般覆盖了从十亿参数（如 Qwen-1.5B）到千亿参数（如 Grok-314B）的所有大型语言模型。只要模型展现出涌现能力，即在一系列复杂任务上表现出远超传统预训练模型（如 BERT、T5）的能力与潜力，都可以称之为 LLM。 ...
模型设置 在使用提示词时,你通常会配置一些参数以获得不同的提示结果.调整这些设置对于响应的可靠性非常重要 常见的一些参数设置及其作用 Temperature: 结果的多样化和创造性 temperature的参数值越小,更容易返回一个确定的结果 调小temperature是在增加其他可能的token的权重 实际应用方面: 对于质量保障(QA)等任务,我们可以设置较低的temperature 对于创造性任务例如创作:适当提高temperature参数值 ...