上下文工程与 RAG

写入策略解决的核心问题是: 如何在上下文窗口外持久化储存信息并且在需要时加载到上下文中 4.1 外部存储与记忆系统 4.1.1 为什么需要外部存储和记忆系统 LLM本身没有持久记忆系统,而能依赖上下文,导致的问题: ...

6.1 信息密度与压缩原理 6.1.1 信息密度的概念 信息密度是指单位Token中包含的有效信息量.高密度意味着最少的token传达更多有价值的内容 1 信息密度= 有效信息量/token数量 信息密度对于上下文工程的影响: ...

1.1什么是上下文工程 Context Engineering 1.1.1定义与内涵 上下文工程（Context Engineering）是一门系统性的工程学科，它研究如何设计、组织、优化和管理大语言模型所需的全部信息环境，以确保模型能够在正确的时间获得正确的信息，从而产生准确、可靠、符合预期的输出。 关键要素: ...

3.1 信息环境设计原则 3.1.1 信息环境的概念 信息环境（Information Environment）是指模型在执行任务时可获取的全部信息的集合与组织方式 ...

5.1 检索增强生成(RAG)原理 5.1.1 RAG的定义与动机 检索增强生成（Retrieval-Augmented Generation，RAG）是一种将信息检索与语言模型生成相结合的技术。它允许模型在生成答案时参考外部知识源，从而克服模型知识的局限性。 RAG解决的核心问题: ...

7.1 结构化上下文设计 7.1.1 为什么需要结构化 1.消除歧义: 2.提升理解:帮助快速定位和理解信息 3.便于维护:结构化内容更容易更新和管理 4.支持模块化:支持独立修改和测试 ...

2.1 大语言模型工作原理 2.1.1 注意力机制和上下文(自己看笔记) Query、Key、Value：每个 Token 被转换为三个向量 注意力分数计算：Query 与所有 Key 计算相似度 加权求和：根据注意力分数对 Value 加权求和 输出表示：得到融合了上下文信息的 Token 表示 2.1.2 计算复杂度 准自注意力的计算复杂度是 $O(n^2)$，其中 $n$ 是序列长度。这意味着： ...

8.1 函数调用机制(感觉很多都是从Authropic那搬过来的) 8.1.1 什么是函数调用(function calling) 让LLM能够调用外部函数的能力,通过生成结构化的函数调用请求, ...

9.1 智能体架构与上下文 9.1.1 智能体的核心特征 自主规划:独立拆解任务并指定执行措施 工具协作:通过API,文件系统,代码执行等工具拓展能力,与现实世界交互 循环执行:遵循"思考-行动-观察-反思"的循环 上下文依赖:每一步的策略都依赖于之前的执行历史和当前的环境状态 9.1.2 为什么上下文是智能体的核心 不同于一次性的聊天应用，智能体需要在 多步执行 中维持一致的上下文： ...