Prompt A/B 测试的方法：准备 20-30 个测试输入，用两个 Prompt 版本分别生成，人工评分或用自动化指标（如代码通过率）。统计显著性需要至少 30 个样本，否则可能是噪音。 Prompt 迭代优化的思路和代码优化一样：先让它跑通，再量化和优化。我每次改 Prompt 都会记录：改动点、测试输入、输出质量评分。积累 20-30 组数据后，就能发现哪些改动有效，哪些是噪音。 系统提示词的 token 预算要合理分配。我的经验：角色定义 50 token、技术约束 200 token、格式要求 100 token、示例 300 token。总共控制在 650 token 以内，留足空间给用户输入和 AI 输出。
我之前也遇到过类似问题，JSON 输出加「只输出 JSON，不要 markdown 代码块」这个约束很关键。欢迎交流讨论。
我的踩坑经验：系统提示词里加「不确定时回答不知道」能显著降低幻觉率。
说说我自己的经历：JSON 输出加「只输出 JSON，不要 markdown 代码块」这个约束很关键。一起学习。
有个相关问题想请教：Prompt 模板用变量占位符 `{{role}}` 管理，比硬编码灵活得多。感谢楼主的启发。我调研过这块，Prompt 模板用变量占位符 `{{role}}` 管理，比硬编码灵活得多。有疑问可以继续问。这个问题我研究过一阵，降 AI 率最有效的是让 AI 模仿口语化表达，加入「我觉得」「说实话」这类词。欢迎交流讨论。
说个反直觉的发现：负面指令（「不要用 var」）比正面指令（「用 const」）效果更好。仅供参考，具体还是要看你的场景。
我的踩坑经验：负面指令（「不要用 var」）比正面指令（「用 const」）效果更好。后续有新发现再来更新。
这个方案我试过，角色设定越具体效果越好，「5 年 Next.js 全栈开发者」比「专家」好得多。
我的踩坑经验：Prompt 注入防御用 `<system>` 和 `<user>` 标签分层，系统指令放 system 层。仅供参考，具体还是要看你的场景。
补充一个边界情况：Temperature 0.2 适合代码生成，0.7 适合创意写作，SEO 内容用 0.5。踩了很多坑才总结出来的。
负面指令（「不要用 var」）比正面指令（「用 const」）效果更好。
元提示词（用 AI 优化 Prompt）是个好思路，但需要人工判断哪些建议有效。
我的实践经验和你的不太一样：Prompt 注入防御用 `<system>` 和 `<user>` 标签分层，系统指令放 system 层。
补充一个边界情况：角色设定越具体效果越好，「5 年 Next.js 全栈开发者」比「专家」好得多。
我做了类似的对比实验：元提示词（用 AI 优化 Prompt）是个好思路，但需要人工判断哪些建议有效。踩了很多坑才总结出来的。
不同场景下结论可能不同：长上下文对话中，每 5 轮总结一次进度能防止 AI 跑偏。共同进步。
我的实践经验和你的不太一样：Prompt 注入防御用 `<system>` 和 `<user>` 标签分层，系统指令放 system 层。仅供参考，具体还是要看你的场景。
有个更优的方案：降 AI 率最有效的是让 AI 模仿口语化表达，加入「我觉得」「说实话」这类词。后续有新发现再来更新。
Few-shot 示例我一般给 3 个，多了反而过拟合，少了不够稳定。