How To Use Decision Models for Evals
为什么值得读:作者拿真实的客服 agent 记录,实测了六款新出的决策模型,给出一套选模型的步骤:先设定准确率和召回率的底线,再调阈值,最后对比成本。里面有具体数字,还讲了校准反而变差的反例,做自动评测时可以直接照着用。
读原文 ↗这周的主线:Agent 的评测、长时间自动运行,以及它怎样改变入口和界面。
为什么值得读:作者拿真实的客服 agent 记录,实测了六款新出的决策模型,给出一套选模型的步骤:先设定准确率和召回率的底线,再调阈值,最后对比成本。里面有具体数字,还讲了校准反而变差的反例,做自动评测时可以直接照着用。
读原文 ↗美团把让 Agent 在夜间自己改代码、跑训练的系统重构了三次,讲清每一版为什么不行。最有价值的是把状态存在文件里、让主 Agent 拆开互斥假设再并行验证的设计,说明系统好不好主要看外围的 Harness,而不是换哪个模型。
读原文 ↗文章讨论 Agent 什么时候该打断你、给你看什么、让你做什么决定,并把这层界面按「谁来设计」做了对比。作者自己用了几周,也坦白了提醒太频繁、消耗额外 token 这些缺点,思路比一时的功能更耐看。
读原文 ↗记者从一次开发者的数据意外上传事件出发,通读了多款 AI 产品的用户协议,梳理出数据泄露的几条路径。结论是个人助理会打破各应用之间原本的数据隔离,在选用云端 Agent 之前值得读一遍。
读原文 ↗一场对第三季度 AI 行业的复盘对话,嘉宾自己在用这些产品。里面的数字很多,比如推理成本一个季度降了二十多倍,以及两家公司收入口径为什么不能直接比较,适合快速补齐这一季的行业脉络。
读原文 ↗作者延续他的聚合理论:互联网时代稀缺的是「发现」,Agent 时代稀缺的是「意愿」,谁掌握表达意愿的入口,谁就成为新的聚合者,App 则退成供应商。这个框架可以拿来判断很多 Agent 产品的位置。
读原文 ↗