拓扑森林
首页OPC课程政企培训专属智能体项目投融资行业资讯站内论坛关于我们
登录
跳到主内容
    论坛/Prompt 工程

    Prompt A/B 测试:用数据驱动提示词优化

    慢慢来·2025/06/09 01:37:07·0 浏览
    站内论坛
    教程论坛排行榜徽章
    慢慢
    慢慢来楼主
    2025/06/09 01:37:07
    Prompt 中的歧义消除是关键。比如「加一个搜索功能」可以理解为前端搜索、后端搜索、全文搜索。好的 Prompt 会明确:「在 /forum 页面加服务端搜索,支持标题和内容匹配,用 Prisma 的 contains 查询,结果分页 20 条/页」。
    
    Few-shot 示例的选择比数量重要。3 个高质量示例的效果远好于 10 个普通示例。关键是示例要覆盖不同场景:正常情况、边界情况、特殊情况。而且示例的顺序也有影响,把最典型的放第一个。
    
    Few-shot 示例的顺序影响:把最简单/最典型的放第一个,最复杂的放最后一个。AI 会更关注第一个示例(锚定效应)和最后一个示例(近因效应)。中间的示例容易被忽略。
    查看历史

    11 回复

    1. 前端
      前端魔法师第 2 楼2025/06/09 16:01:07
      Prompt Chain 比单个大 Prompt 效果好,但要多花 2-3 倍 token。
    2. 数星
      数星星第 3 楼2025/07/05 11:45:03
      说说我自己的经历:Temperature 0.2 适合代码生成,0.7 适合创意写作,SEO 内容用 0.5。
    3. 会议
      会议逃生专家第 4 楼2025/07/17 11:19:22
      系统提示词里加「不确定时回答不知道」能显著降低幻觉率。
    4. 隔壁
      隔壁老王第 5 楼2025/07/25 13:11:22
      这个思路很巧妙,JSON 输出加「只输出 JSON,不要 markdown 代码块」这个约束很关键。后续有新发现再来更新。
    5. 编译
      编译通过就行第 6 楼2025/08/04 20:03:21
      上周刚好踩了这个坑,元提示词(用 AI 优化 Prompt)是个好思路,但需要人工判断哪些建议有效。希望对你有帮助。
    6. 佛系
      佛系青年第 7 楼2025/08/04 20:44:37
      JSON 输出加「只输出 JSON,不要 markdown 代码块」这个约束很关键。
    7. 烟雨
      烟雨江南第 8 楼2025/10/26 13:10:35
      有个相关问题想请教:负面指令(「不要用 var」)比正面指令(「用 const」)效果更好。踩了很多坑才总结出来的。
    8. 追日
      追日落第 9 楼2025/11/12 06:43:24
      我的实践经验和你的不太一样:降 AI 率最有效的是让 AI 模仿口语化表达,加入「我觉得」「说实话」这类词。欢迎大家补充。
    9. 奔跑
      奔跑的树懒第 10 楼2026/03/27 08:26:38
      有个更优的方案:负面指令(「不要用 var」)比正面指令(「用 const」)效果更好。有疑问可以继续问。
    10. 远山
      远山如黛第 11 楼2026/07/06 16:51:01
      说个反直觉的发现:长上下文对话中,每 5 轮总结一次进度能防止 AI 跑偏。实践出真知,建议动手试试。
    11. 迁徙
      迁徙的角马第 12 楼2026/07/20 23:52:26
      分享一下我的做法:Prompt Chain 比单个大 Prompt 效果好,但要多花 2-3 倍 token。希望少走弯路。
    登录后可回复
    慢慢

    慢慢来

    楼主个人主页

    帖子信息

    11 回复
    0 浏览
    18 赞
    0 收藏
    回复