统计测量 · 探索评价与主实验设计
LLM 文本测量：误差会怎样改变结论？
比较人工标注、LLM 标注与有限抽查校正，追踪分类误差如何改变比例、组间差异、趋势和区间结论。
研究问题
总体比例接近，不代表不同群体的误差也接近。这条研究线关心同一批文本换一种标注方式后，下游统计结论如何变化，以及有限人工预算能恢复多少信息。
研究方法
- 分解总体误差与组间误差，避免被相互抵消的错判掩盖。
- 在固定 500 条探索材料、两组各 50 条抽查的设计中，精确计算校正风险与保守区间表现。
- 准备独立材料与预算内的现成估计方法对照，把方法选择和新增标签成本一起计入比较。
当前进展
探索评价已完成。当前保守区间在该固定总体上覆盖很高，平均宽度却达 76.19 个百分点，显示高覆盖与实用信息量的差别；这不证明其他方法在同预算下都不可行。下一轮主实验设计已收敛，正式面板、新预测、新人工标签与主模拟尚未启动。