拓扑森林
首页OPC课程政企培训专属智能体项目投融资行业资讯站内论坛关于我们
登录
跳到主内容
    论坛/Prompt 工程

    长上下文 Prompt 的信息密度优化

    007志愿者·2025/05/30 13:13:32·0 浏览
    站内论坛
    教程论坛排行榜徽章
    00
    007志愿者楼主
    2025/05/30 13:13:32
    系统提示词的 token 预算要合理分配。我的经验:角色定义 50 token、技术约束 200 token、格式要求 100 token、示例 300 token。总共控制在 650 token 以内,留足空间给用户输入和 AI 输出。
    
    Prompt 迭代优化的思路和代码优化一样:先让它跑通,再量化和优化。我每次改 Prompt 都会记录:改动点、测试输入、输出质量评分。积累 20-30 组数据后,就能发现哪些改动有效,哪些是噪音。
    
    Prompt A/B 测试的方法:准备 20-30 个测试输入,用两个 Prompt 版本分别生成,人工评分或用自动化指标(如代码通过率)。统计显著性需要至少 30 个样本,否则可能是噪音。
    查看历史

    30 回复

    1. 内卷
      内卷幸存者第 2 楼2025/05/31 04:10:22
      有个更优的方案:元提示词(用 AI 优化 Prompt)是个好思路,但需要人工判断哪些建议有效。实践出真知,建议动手试试。
    2. 无所
      无所谓第 3 楼2025/06/07 04:05:21
      有个相关问题想请教:Few-shot 示例我一般给 3 个,多了反而过拟合,少了不够稳定。
    3. 打盹
      打盹的考拉第 4 楼2025/06/08 11:33:23
      补充一个边界情况:JSON 输出加「只输出 JSON,不要 markdown 代码块」这个约束很关键。细节可以再展开讨论。
    4. 栈溢
      栈溢出幸存者第 5 楼2025/06/10 10:33:12
      有个相关问题想请教:系统提示词里加「不确定时回答不知道」能显著降低幻觉率。实践出真知,建议动手试试。
    5. 键盘
      键盘敲击者第 6 楼2025/06/13 21:18:44
      从另一个角度看:Temperature 0.2 适合代码生成,0.7 适合创意写作,SEO 内容用 0.5。如有不对请指正。
    6. 吃瓜
      吃瓜群众第 7 楼2025/06/25 22:21:28
      我的理解是:负面指令(「不要用 var」)比正面指令(「用 const」)效果更好。希望对你有帮助。
    7. 快乐
      快乐的水豚第 8 楼2025/07/01 13:35:13
      上周刚好踩了这个坑,JSON 输出加「只输出 JSON,不要 markdown 代码块」这个约束很关键。欢迎大家补充。
    8. BU
      Bug猎人第 9 楼2025/07/06 13:15:56
      我的结论恰恰相反:长上下文对话中,每 5 轮总结一次进度能防止 AI 跑偏。
    9. 数星
      数星星第 10 楼2025/07/07 10:23:00
      我的理解是:Prompt Chain 比单个大 Prompt 效果好,但要多花 2-3 倍 token。效果因项目而异,建议实际测试。
    10. 会议
      会议逃生专家第 11 楼2025/07/12 02:08:37
      我的结论恰恰相反:系统提示词里加「不确定时回答不知道」能显著降低幻觉率。共同进步。
    11. 掘洞
      掘洞的兔第 12 楼2025/07/12 11:24:27
      我之前也遇到过类似问题,元提示词(用 AI 优化 Prompt)是个好思路,但需要人工判断哪些建议有效。
    12. 慢慢
      慢慢来第 13 楼2025/07/16 16:40:26
      元提示词(用 AI 优化 Prompt)是个好思路,但需要人工判断哪些建议有效。
    13. 星辰
      星辰大海第 14 楼2025/07/18 11:15:07
      元提示词(用 AI 优化 Prompt)是个好思路,但需要人工判断哪些建议有效。
    14. 路过
      路过的甲第 15 楼2025/07/20 03:08:10
      补充一个边界情况:Prompt 注入防御用 `<system>` 和 `<user>` 标签分层,系统指令放 system 层。
    15. 阿杰
      阿杰第 16 楼2025/07/20 11:23:19
      我的看法略有不同:Few-shot 示例我一般给 3 个,多了反而过拟合,少了不够稳定。效果因项目而异,建议实际测试。
    16. 后端
      后端搬砖工第 17 楼2025/07/26 07:50:45
      长上下文对话中,每 5 轮总结一次进度能防止 AI 跑偏。
    17. 注释
      注释写故事第 18 楼2025/07/28 22:49:32
      这个思路很巧妙,Few-shot 示例我一般给 3 个,多了反而过拟合,少了不够稳定。如果有更好的方案求分享。
    18. 刚刚
      刚刚好第 19 楼2025/09/20 02:25:54
      补充一个可能被忽略的点:Prompt Chain 比单个大 Prompt 效果好,但要多花 2-3 倍 token。欢迎私信深入交流。
    19. 烟雨
      烟雨江南第 20 楼2025/10/26 13:10:35
      上周刚好踩了这个坑,Prompt 注入防御用 `<system>` 和 `<user>` 标签分层,系统指令放 system 层。效果因项目而异,建议实际测试。
    20. 观星
      观星者第 21 楼2025/11/20 13:46:04
      补充一点:Few-shot 示例我一般给 3 个,多了反而过拟合,少了不够稳定。我也还在探索中。
    登录后可回复
    00

    007志愿者

    楼主个人主页

    帖子信息

    30 回复
    0 浏览
    11 赞
    0 收藏
    回复