小模型训练 · 判断与弃答研究
Shiba：小模型如何学会新判断？
让小模型学习新的文字与视觉判断任务，同时研究它在什么条件下应该回答“无法判断”。
研究问题
从 Jevado 的文字判断实验延伸而来，Shiba 把文字与视觉小模型放在同一条研究线上。近期重点是：给 0.6B 模型增加一种判断能力后，原有能力会怎样变化；遇到没学过的任务时，又该如何决定回答还是弃答。
研究方法
- 用轻量训练模块学习情绪分类与意图选择，并在新题和未学习的任务上比较表现。
- 按任务校准回答门槛，记录回答了多少题，以及回答中的错误比例。
- 比较不同训练版本所需的标注量，追踪学习新任务与可靠弃答各自的成本。
当前进展
已完成多轮新任务学习与弃答实验。最新对照中，新模块没有在所有未学任务上稳定优于冻结模型；从一种任务借来的回答门槛也不能直接用于另一种任务。当前继续研究逐任务校准与转交判断，尚未证明通用可靠性。