AI Agents

Agent的概念与生态 LLM的弊端: 1.只具有生产能力而不具有执行能力 2.没有记忆,局限于上下文窗口 3.不会用tools 4.不会规划 Agent: LLM在循环中自主使用工具的系统(有点太浅了) ...

一.架构设计 分为四层架构 引擎层:负责调度和思考 关键设计原则:不包含任何的业务逻辑 协调:把用户输入,系统提示词,历史对话拼接在一起 分发:LLM需要调用工具时,找到对应的工具并执行 决策:根据LLM的返回决定时继续循环还是结束对话 该设计的好处是:新增能力只需要新增一个工具,引擎层完全不用改 ...

按照任务之间的依赖关系,用graph来编排整个流程 而loop可以理解为一个节点的循环图 工作原理 组成: 节点,边,状态 节点:agent或代码或一次简单操作 ...

1.传统的RAG的缺陷: 1.1跨文档的多跳推理 什么叫多跳推理(Multi-hop Reasoning) 一个形象化地解释就是:需要从A关联到B,再从B关联到C,然后由A推到C地问题 或者还有一种比较具体的表现:链式推理 1.2全局性问题 举例: 这本小说的主题思想是什么? Query-Focused Summarization问题,本质上不是检索任务,而是归纳任务 ...

从Prompt Engineering到Harness Engineering Prompt Engineering 首先要明白LMM的原理: 本质上是:根据你输入的内容,预测下一个字,即生成式语言模型 因此,准确的提示词能够让AI更好地预测你的想法 写提示词的本质,不是在命令模型,而是在塑造它的概率空间 ...

Loop Engineering 递归式的目标 Loop的组成 一.自动化 定时或者事件触发 二.worktree 允许并发进行 git的worktree机制:给每个agent一个独立的工作目录和独立分支,共享同一份仓库历史,但是物理上互不干扰,各干各的,最后各开各的PR ...

RAG LLM的局限性 知识库有截至时间 大模型没有外部的私有数据 会出现幻觉 核心思路 先从外部知识库中检索（Retrieval） 出和用户问题相关的资料 把检索到的资料作为增强（Augmented） 上下文，和用户的问题一起给到大模型 大模型基于这些真实的资料来生成（Generation） 回答 两大阶段: 索引阶段(离线)和查询阶段(在线) ...