select · 选择准确率
该调的调了、不该调的不调。工具增删改之后最先退化的就是它。
汇总
多模型横向比
同一套用例、同一套工具定义，一张表看选择、参数、通过率、延迟与成本。
| 模型 | select | args | pass | p50 | p95 | CNY / 次 | 错误 |
|---|---|---|---|---|---|---|---|
| DeepSeek-V4-Flash | 92% | 100% | 92% | 2,083 ms | 6,179 ms | ¥0.0009 | 0 |
成本按 2026-10 公开单价估算，实际以供应商账单为准。目前只跑了一个模型；接第二个模型后，这张表就是选型依据。
逐用例
失败长什么样
13 个用例里 12 个通过；x01 期望调用 salary_band，模型直接回答了文本、没有发起工具调用。
| 用例 | 期望工具 | 实际工具 | 参数 | 结果 |
|---|---|---|---|---|
| r01 | resume_score | resume_score | 2/2 | pass |
| r02 | resume_score | resume_score | 2/2 | pass |
| r03 | (无) | (无) | - | pass |
| q01 | interview_question | interview_question | 3/3 | pass |
| q02 | interview_question | interview_question | - | pass |
| s01 | salary_band | salary_band | 3/3 | pass |
| s02 | salary_band | salary_band | 3/3 | pass |
| j01 | jd_rewrite | jd_rewrite | 2/2 | pass |
| j02 | jd_rewrite | jd_rewrite | 1/1 | pass |
| n01 | (无) | (无) | - | pass |
| n02 | (无) | (无) | - | pass |
| n03 | (无) | (无) | - | pass |
| x01 | salary_band | (无) | - | fail |
n01–n03 是“不该调用任何工具”的负例；x01 是容易混淆的正例——这类用例正是暴露选择漂移的关键。
怎么读
这三个分数分别是什么
args · 参数准确率
选中工具后，必填项齐不齐、类型和枚举对不对。参数错比选错更容易漏到线上。
pass · 整体通过率
选择与参数同时正确才算通过；它才是能拿去卡 CI 的那个数。
未复核用例（reviewed=false）不计入正式分。评分卡同时记录工具/用例/套件的内容指纹，定义一改就会提示“不可直接比较”。
下一步
用你自己的工具跑一份
扫描你的 function / OpenAPI / MCP 工具，写 10–20 个用例，一小时就能出第一份卡。
- 本地运行，工具定义与代码不上传
- 先跑静态 lint，零成本挡掉低级问题
- 评分卡可直接接 GitHub Actions