目录

第四章

评估与安全

能跑起来只是开始。学得是否真好,要看你能不能测量质量、控制风险、并在成本和延迟之间做取舍。没有这一章,Agent 只是会表演的实习生。

02
续读

Anthropic Courses:Prompt evaluations

#
来源说明

Anthropic 官方提示词评估课,九课,从评估入门到 Promptfoo 与模型打分。

一句话核心观点

提示词和 Agent 必须被写成可测试的东西:先有例子和评分方式,再谈优化。

要点精读

  1. 第一课 Evaluations 101 建立共同语言:你到底在测正确性、格式、安全性,还是风格?
  2. 第二课用 Anthropic Workbench 做人工评分,先让人的判断标准变清楚,再自动化。
  3. 第三、四课进入代码评分和分类评估,适合有明确对错或固定类别的任务。
  4. 第五到九课系统引入 Promptfoo:从入门、分类、自定义评分器,到模型评分以及自定义模型评分。
  5. 「模型给模型打分」很强大,但也有偏好和不稳定,必须用抽查和黄金集校准。
  6. 评估集要比你的演示例子更狠:要包含边界、恶意输入、空输入和易幻觉的问题。
  7. 改提示词之后必须回归测试,否则你只是在用新的失败替换旧的失败。
  8. 这门课是把「感觉变好了」变成「分数提高了」的分水岭,也是职业学习者与爱好者的分界。

对「学好 AI」的实操启发

给你的个人 Agent 先做 20 条黄金测试题,覆盖正确、拒绝、格式和安全。每改一次提示词或工具,就重跑这 20 条。不必一开始就上复杂框架,表格加脚本也够。

短引(转述)

课程说明指出,九课将教你在 Anthropic API 工作流中成功实施评估所需的一切,并应从 Evaluations 101 学起。

出处:prompt_evaluations/README.md。
03
续读

Claude Cookbook:评估、审核与优化

#

相关配方:自动评估、内容审核过滤、JSON 模式、提示词缓存、成本优化、延迟优化等。

一句话核心观点

生产环境里的质量、安全和成本是同一组工程问题,可以而且应该被量着改。

要点精读

  1. 自动评估配方展示如何让 Claude 参与提示词评估过程,和官方评估课是实践与课程的关系。
  2. 审核过滤配方提醒:在把模型接到用户之前,要有内容与行为边界,而不是事后补救。
  3. JSON 模式关乎系统稳定性——下游代码吃到的若是自由发挥的散文,评测和安全都很难做。
  4. 提示词缓存是成本与延迟的常用杠杆,适合系统提示词长、重复度高的 Agent。
  5. 成本优化笔记本的方法是:在 Agent 上做清单式检查,测量通过率和每次任务成本,寻找帕累托更优的配置。
  6. 延迟优化则测量首 token 时间、任务总时长和准确率,选出「过质量线的最快方案」,而不是盲目追最快。
  7. 优化顺序建议:先达到可接受质量,再压成本和延迟,否则你只是在加速失败。
  8. 这些笔记本适合在第 4 章后半当作实验手册,不必在学评估概念之前就跳进来。

对「学好 AI」的实操启发

给你的 Agent 记三笔账:通过率、平均费用、平均耗时。改模型、改提示词或改检索后,三笔账一起看。若质量和成本冲突,写下你愿意接受的底线,而不是每次凭心情切换。

短引(转述)

成本优化配方的目标,是在 Agent 上检查清单、测量通过率和每任务成本,从而找到帕累托最优配置;延迟优化则在质量达标的前提下挑选更快的设置。

出处:Cookbook README 中 Advanced Techniques 一节。

安全与负责任使用(贯穿 Microsoft 与 DAIR.AI)

#

一句话核心观点

安全不是学完技能后的附加题,而是提示词、工具和 Agent 设计的一部分。

要点精读

  1. 《Generative AI for Beginners》第 3 课专门讲负责任地使用生成式 AI,第 13 课讲应用面临的威胁与防护方法。
  2. Agent 课程把「构建可信 Agent」和「保护 AI Agent」单列,因为 Agent 能行动,风险从「说错话」变成「做错事」。
  3. 给 Agent 工具时,要按最小权限:能读不必能写,能写不必能转账或删数据。
  4. DAIR.AI 风险篇覆盖对抗性提示、事实性问题和偏见,提示词本身也可能被用来越狱或套取系统指令。
  5. 人在回路应放在高风险动作之前:对外发送、修改生产数据、支付、法律或医疗建议。
  6. 评估集里必须包含「应该拒绝」的例子,否则你的高分可能来自一套过于听话的系统。
  7. 安全与产品体验会冲突(拒绝太多会显得笨),要用明确政策,而不是让模型自由发挥道德观。
  8. 把安全和评估写进学习笔记:每增加一个工具,就增加一类滥用案例和对应测试。

对「学好 AI」的实操启发

为你的 Agent 写一页「允许 / 禁止」清单,并做 10 条对抗测试(要求泄露系统提示词、要求执行越权操作、诱导编造来源)。测试不过关,就还不能把它当成同事。

短引(转述)

Microsoft 初学者课程将「负责任地构建生成式应用」和「认识 AI 系统的威胁并学习防护」单独成课;DAIR.AI 则把对抗性提示、事实性与偏见列入提示词工程必须面对的风险。

出处:两门课程的课表与 promptingguide.ai/risks。

搜索资源

ESC