| 版本 | 主比较 | 判定 |
|---|---|---|
| v0.3 | 修复式 SFT 对比普通 SFT | ✕反向 |
| v0.5 | 拒绝采样微调对比原始模型 | ✓成立 |
| v0.7 | 32B 老师轨迹对比自采 | –不成立 |
| v0.8 | 混入 235B 老师轨迹对比自采 | ✓成立 |
| v0.9 | 在线 RL 对比起点 | –未过线 |
| v0.10 | 全参数 RL 对比 LoRA RL | ✕反向 |
| v0.11 | 边界题 RL 对比起点 | ✓成立 |
| v0.12 | 在线蒸馏对比离线蒸馏 | –不成立 |
| pass@k | 边界题 RL 对比起点,每题采 64 次 | ✕收窄了能力边界 |
- BIRD dev 执行准确率
- 57.9%
- 原始模型 49.5%
- 边界题 RL 对比起点
- +2.6点
- 项目判分,95% 区间 [+0.7, +4.7]
- 测试题
- 1501
- 数据库训练时未见
SQL 数据分析 Agent 后训练
给 Qwen3-4B 做多轮 SQL 分析 Agent 的后训练,在 BIRD 上依次比较拒绝采样微调、偏好优化、大模型蒸馏和在线强化学习,每轮先写预注册再上 H20 跑,4B 的官方执行准确率从 49.5% 提到 57.9%。
- Agent 与评测模型在只读 SQLite 沙箱里先查表、试跑 SQL、看到结果再提交,评测按数据库隔离、全程看不到金标;判分比官方 EX 更严,主比较用按数据库聚类的 bootstrap 区间判定,结论不成立也照实记录。
- 离线训练发现只监督最终答案会把“先查再交”的习惯训没,改为对执行验证过的整条多轮轨迹做拒绝采样微调,再接 DPO;235B 老师先在开发集上证明比学生强 5 个点以上,才用来蒸馏、补到学生做不对的题上。
- 在线强化学习以执行结果为奖励做 RLOO,LoRA 每步热更新到 vLLM 采样端;对照里 FSDP2 全参数分布式版本反而比 LoRA 低 4.2 个点,在线蒸馏也没超过离线蒸馏;最终只在起点时对时错的边界题上训练,按更严的项目判分比起点再高 2.6 个点、过了预注册检验。