小白
小白楼主
Prompt A/B 测试的方法:准备 20-30 个测试输入,用两个 Prompt 版本分别生成,人工评分或用自动化指标(如代码通过率)。统计显著性需要至少 30 个样本,否则可能是噪音。 Few-shot 示例的顺序影响:把最简单/最典型的放第一个,最复杂的放最后一个。AI 会更关注第一个示例(锚定效应)和最后一个示例(近因效应)。中间的示例容易被忽略。 上下文窗口管理是个技术活。长对话中 AI 容易「遗忘」早期设定。我的做法是:把关键约束放在系统提示词里(永久),而不是对话中(会被截断)。每轮对话结束时,主动总结当前进度和待办事项,帮助 AI 保持上下文。 负面指令在 Prompt 中非常重要。告诉 AI「不要用 var」「不要用 any 类型」「不要用 Pages Router」比只说「用 const」「用具体类型」「用 App Router」效果更好。AI 更容易遵守「禁止 X」而非「应该 Y」。 系统提示词模块化设计:把角色定义、技术栈、代码规范、错误处理策略拆成独立模块,按需组合。类似微服务架构的思路,每个模块职责单一,通过组合适配不同场景。