潜水
潜水的海獭楼主
Prompt A/B 测试的方法：准备 20-30 个测试输入，用两个 Prompt 版本分别生成，人工评分或用自动化指标（如代码通过率）。统计显著性需要至少 30 个样本，否则可能是噪音。 元提示词（用 Prompt 生成 Prompt）是个有趣的方向。我让 AI 分析我的需求和现有 Prompt，然后建议优化方案。虽然不能完全替代人工，但能提供意想不到的视角，特别是发现自己盲点的时候。 Prompt 中的歧义消除是关键。比如「加一个搜索功能」可以理解为前端搜索、后端搜索、全文搜索。好的 Prompt 会明确：「在 /forum 页面加服务端搜索，支持标题和内容匹配，用 Prisma 的 contains 查询，结果分页 20 条/页」。 RAG + Prompt 工程是让 AI 基于私有文档回答的标准方案。关键在于检索质量：chunk 大小设 500-1000 字符，重叠 100 字符，用语义检索而非关键词匹配。Prompt 里告诉 AI「只基于提供的上下文回答，不确定时说不知道」，能大幅减少幻觉。 系统提示词设计的核心是「约束明确、格式清晰、角色具体」。我总结了一个模板：先定义角色（你是 Next.js 全栈专家），再列约束（必须用 App Router、禁止 class component），最后给格式要求（输出 markdown、代码块标注语言）。这样 AI 的输出可用率能稳定在 90% 以上。