先说个我遇到的尴尬事：聊着聊着 AI 就忘了前面说过啥
有次我跟 AI 讨论一个复杂的技术方案，聊了十几轮，突然 AI 问了一句：” 你说的这个项目是什么来着？”
我当时就懵了，明明第一轮就说过啊。后来才知道，这是上下文窗口不够长，AI 把前面的内容 ” 忘 ” 了。
今天就把上下文窗口这件事讲清楚。
什么是上下文窗口？
上下文窗口（Context Window），就是 AI 能 ” 记住 ” 的最大文本量。
打个比方：你在跟人聊天，对方有个小本本记你们说过的话。但这个本本页数有限，记满了就得擦掉前面的。
AI 的 ” 小本本 ” 就是上下文窗口，页数就是窗口大小。
为什么有这个限制？
技术上说，AI 处理文本需要把所有内容都加载到内存里。内容越长，计算量越大，成本越高。所以必须有个上限。
不同模型的上下文窗口
ChatGPT 系列
• GPT-3.5：4K tokens（约 3000 字）
• GPT-3.5 Turbo 16K：16K tokens
• GPT-4：8K tokens
• GPT-4 Turbo：128K tokens（约 10 万字）
Claude 系列
• Claude 2：100K tokens
• Claude 3：200K tokens
Claude 的上下文窗口比 ChatGPT 大很多，这是它的优势之一。
国产模型
• 通义千问：32K-128K
• 文心一言：8K-32K
• Kimi：200K（号称超长上下文）
为什么越长的 AI 越好用？
能记住更多对话
上下文短，聊几轮就忘了。上下文长，可以聊几十轮还记得清清楚楚。
能处理更长文档
想让 AI 帮你分析一份 50 页的报告？上下文窗口得够大才能装得下。
减少重复说明
上下文长，你说的背景信息 AI 一直记得，不用每轮都重复。
上下文用完了会怎样？
当对话内容超过上下文窗口，AI 会 ” 忘记 ” 最早的内容。
具体表现：
• 忘记之前说过的背景信息
• 重复问已经回答过的问题
• 回答质量下降，因为缺少上下文
解决办法：开启新对话，或者让 AI 总结之前的内容。
怎么省着用上下文？
技巧一：精简提问
别啰嗦，一句话能说清楚的就别用三句。
技巧二：适时总结
聊到一定程度，让 AI 总结一下当前讨论的结论，然后开启新对话继续。
技巧三：分段处理长文档
文档太长，分成几段分别处理，最后汇总。
常见问题
Q：上下文越大越好吗？
A：理论上是的，但也要看成本。长上下文的 API 调用更贵。
Q：128K tokens 是多少字？
A：中文大约 8 -10 万字，英文大约 10 万单词。
Q：能突破上下文限制吗？
A：不能。这是模型架构决定的，不是软件限制。
总结
上下文窗口就是 AI 的 ” 短期记忆容量 ”，越大越好用。
选 AI 的时候，除了看参数量，也要看上下文窗口大小。
处理长文档或多轮对话，优先选上下文长的模型。
