追日
追日落楼主
Prompt A/B 测试的方法:准备 20-30 个测试输入,用两个 Prompt 版本分别生成,人工评分或用自动化指标(如代码通过率)。统计显著性需要至少 30 个样本,否则可能是噪音。 长上下文 Prompt 的信息密度要控制。AI 对上下文的理解不是均匀的,开头和结尾的内容权重更高(首因效应和近因效应)。关键信息放开头,最新指令放结尾,中间放背景资料。 AI 生成生产级代码的 Prompt 要点:明确技术栈版本、给出代码规范链接、要求错误处理、要求类型安全、要求添加注释。最重要的是给一个高质量的参考实现作为 few-shot 示例。 Temperature 参数的经验值:代码生成用 0.1-0.3(要确定性),创意写作用 0.7-0.9(要多样性),SEO 内容用 0.4-0.6(平衡准确和自然)。Top-p 一般固定 0.9,主要通过 Temperature 调节。 负面指令在 Prompt 中非常重要。告诉 AI「不要用 var」「不要用 any 类型」「不要用 Pages Router」比只说「用 const」「用具体类型」「用 App Router」效果更好。AI 更容易遵守「禁止 X」而非「应该 Y」。