skills 是越多越好、越长越好吗?
聪明如你,肯定说不是。
但是在行动时会产生熵增,根本无法控制。
看到一个案例,WorkOS 的一位老哥开始的时候,也非常沉迷于用 skills 来解决问题,直到他从文档里生成了 1 万多行 skills,结果任务表现反而变差。
后来删掉 95%,只保留 553 行来说明最常见的问题,速度更快,正确率也更高。
他的测试数据是:加载这个 skill 来做任务,正确完成的概率是 77%。但如果不加载这个 skill,做同样的任务,正确的概率是 97%
老哥的建议是:
- 找出 agent 在你的产品上会稳定搞错什么,然后专注于这些地方。不要把重点放在整个产品上,因为模型对它的了解可能比你想象中多得多。- 把那些坑写下来,围绕这些坑创建 skills。你也可以创建教程,但不要依赖教程。模型只需要知道你产品里的细节,以及哪里有地雷。- 测试。专注解决模型会犯错的地方。
除此之外,都是在增加噪音。

