NeurIPS 2023｜面向自适应测试(CAT)的子集选择方法

自适应测试 CAT 方案作为个性化教育中的重要组成部分，需要能以尽可能少的题目来精准估计学生能力，减轻学生负担。同时，CAT作为关乎学生前途命运的标准化考试方案，能力估计准确性的理论保证至关重要，是被学校师生认可和接受的关键因素，却被以往方法所忽视，这也是本文提出的BECAT方法尝试解决的问题。

论文题目：  

A Bounded Ability Estimation for Computerized Adaptive Testing  

论文链接： 

https://openreview.net/pdf?id=tAwjG5bM7H  

开源代码： 

https://github.com/bigdata-ustc/EduCAT

一、背景介绍

如何能够高效地评估学生能力？ 一般地，我们会进行一场纸笔考试，千人一卷，即所有学生回答同一张试卷来评测他们的能力。然而，这会要求学生回答大量的题目，加重了学生的负担。

近年来，AI教育中的计算机自适应测试(CAT)受到广泛关注，它能够自动化地为每一位学生量身定制试卷，能尽可能推荐少量的题目准确地估计学生能力。最典型的应用就是我们比较熟悉的GRE考试。

二、问题与挑战

1. 现有CAT方法无法显式保证能力估计的准确性，因为学生真实能力值  在数据集中不存在。
2. 子集选择目标是用最少的题目准确估计学生真实能力,但真实能力不可得，无法直接优化求解。

解决方法:

1. 找到真实能力的理论近似值 - 用全部题库响应估计的能力。
2. 求解子集选择问题：选出子集使得子集上响应的梯度近似全部响应的梯度，设计简单贪心选择算法。
3. 选择算法具备能力估计误差上界理论保证，且实验中在同精度下降低了 15 % 的测试题量。

三、解决方案

3.2 设计选题策略：

3.3 近似求解:

3.4 理论保证：

四、实验分析

4.1 学生表现预测：

验证能力估计值是否能够准确预测学生的作答行为（正确or错误），使用AUC和ACC作为评价指标。如下图，本文发现BECAT作为一个不需要训练的贪心算法，整体上超越了其他需要额外训练的数据驱动的方法（例如，BOBCAT，NCAT）。

4.2 能力估计模拟:

五、总结

自适应测试 CAT 方案作为个性化教育中的重要组成部分，需要能以尽可能少的题目来精准估计学生能力，减轻学生负担。同时，CAT作为关乎学生前途命运的标准化考试方案，能力估计准确性的理论保证至关重要，是被学校师生认可和接受的关键因素，却被以往方法所忽视，这也是本文提出的BECAT方法尝试解决的问题。

Illustration From IconScout By Delesign Graphics

-The End-