智能体辅助编程的信息论价值模型
核心思想
用信息熵量化 AI agent 的价值。核心发现：
其中 I(S; K) 是人类意图 S 与智能体先验知识 K 之间的互信息。Agent 的价值不是来自知识量，而是来自知识与任务的匹配度。
关键概念
任务复杂度分解
| 符号 | 含义 |
|---|---|
| H(Sₑ) | 本质复杂性 — 业务逻辑、独特算法 |
| H(Sₐ|Sₑ) | 偶然复杂性 — 样板代码、框架胶水 |
知识来源
- K_pretrain: 预训练的通用编程知识
- K_RAG: 检索增强注入的项目文档
- K_context: 会话上下文中积累的信息
核心定理
定理 1: 价值公式
共享知识越匹配任务，I(S;K) 越大，Agent 价值越高。
定理 2: 有效性条件
智能体有正价值的前提：
当 α = 2 时：I(S;K)/H(S) > 0.5 — 先验知识必须覆盖超过 50% 的任务信息。
定理 3: 悖论区间
当需求完全原创（I(S;K) → 0）时，自然语言意图对齐成本 ≥ 直接编码成本。这是信息论的基本约束，不是工具缺陷。
偶然复杂性消解
这就是为什么一个简短的 FastAPI + JWT 提示能产生数百行代码——偶然复杂性被先验完全消解。
迭代交互的信息论解释
迭代不减少总信息量，但优势在于：
- 认知负荷分散: 每轮 H(m_t) ≪ H(S|K)
- 反馈引导: 基于上一轮输出精确定位下一轮内容
- 隐式确认: 正确的部分无需重复传输
工程策略
| 策略 | 效果 |
|---|---|
| 更好的 RAG | ↑K → ↑I(S;K) → ↑V |
| 领域微调 | ↑K 与 S 的相关性 |
| 形式化 DSL | α → 1 |
| 示例/草图 | α ↓ |
| Cursor Rules / AGENTS.md | 持久化 K_context |
与现有 Wiki 概念的关联
本文属于 AI Agent 基础理论，与 Lpu Architecture（LPU 推理架构）、Disaggregated Inference（解耦推理）在主题上都属于 AI 基础设施研究范畴，但本文更偏理论层面，为 Heterogeneous Inference 等系统设计提供理论支撑。
开放问题
- I(S;K) 如何测量？ 公式优美，但实践中难以直接计算
- α 的经验值？ 不同场景下歧义开销因子不同
- 迭代终止条件？ 如何主动判断 agent 是否在原地踏步