新的统计模型提高了标准化考试成绩的预测能力
出色的论文,高分平均成绩和出色的标准化考试成绩有时不足以录取大学。持续的大学入学丑闻凸显了标准化考试成绩的影响力。考试管理员现在正在与其他付费的父母合作调查,这些父母付费以固定孩子的考试成绩。
大学录取决定使用标准化的考试成绩作为申请人在大学中的表现的预测指标。但是,如果有更好的预测学习的方式—一种不依赖单个高风险测试的方法呢?
亚利桑那州立大学和丹佛大学的研究人员设计了一种预测学术表现的方法,该方法的预测性比单个标准化评估高出三倍。研究团队开发并验证了一个统计模型,该模型使用随时可用的考试成绩来预测未来的学业成绩。该研究将发表在多元行为研究中。
“每个人都在某个时候受到测试的影响-测试被用来做出关于入学乃至职业安置的高风险决策-我们开发的模型可以捕获数据中发生的事情,并比现有方法更好地预测未来的表现”,亚利桑那州立大学心理学助理教授,论文的第一作者丹尼尔·麦克尼什(Daniel McNeish)说。
当前的能力并不总是能预测未来的学习
许多标准化测试的既定目的是一次性评估,而不是为了告知长期性能。丹佛大学的助理教授,论文的第二作者丹尼斯·杜马斯(Denis Dumas)表示,有时将这些测试用于预测参加该测试的任何人的未来表现,但实际上很少有测试能做到这一点。单项测试无法充分衡量学生未来学习潜力的想法并不是一个新想法:社会学家,历史学家和民权活动家WEB DuBois于大约一个世纪前提出了这一想法。
Dumas补充说:“从单个时间点获得的考试成绩可以很好地反映出某人在考试时所知道的内容,但是它们通常无法提供有关学习潜力的信息。” “考试分数通常用来表明一个人可以从未来的教育中受益,例如上大学,但是这个概念与应试者现在所知道的完全不同。”
为了开发该模型,研究团队从一位名叫鲁汶·富尔斯坦(Reuven Feuerstein)的以色列心理学家的工作中汲取了灵感,他对大屠杀的儿童幸存者进行了学校和年级水平的测试。基于一个测试成绩的年级水平分配通常太低,因此Feuerstein开发了一个称为动态评估的测试系统,该系统使用了一段时间内收集的几个测试成绩来衡量儿童的学习能力,而不是他们当前的知识水平。动态评估是劳动密集型的,并且难以大规模实施。研究团队通过利用数学模型和计算能力的先进性来解决该问题,从而创建了一种称为动态测量模型的新方法。
连接点
动态测量模型使用一系列测试分数来预测未来的学习能力。该模型通过测试分数随时间的变化拟合曲线,该曲线通常看起来像一个侧向字母“ J”,并且经常被称为“学习曲线”。学习曲线上的点表示当前知识的数量,曲线的最大值或上限是学习潜力。研究小组使用从幼儿园到八年级的标准化考试成绩,表明动态测量模型可以拟合学习曲线并预测学习潜力。
研究团队想知道该模型可以预测多远的学习潜力,从而可以预测其实际准确性。他们使用了三个数据集,这些数据集来自加州大学伯克利分校的人类发展研究所。数据集包括参与者在1920年代和1930年代3岁时开始的测验分数。对参与者进行了数十年的研究,直到他们分别处于50年代,60年代和70年代。
由于大多数标准化测试都在学校进行,因此研究团队使用动态测量模型来拟合加州大学伯克利分校参与者20岁以下的测试成绩。该团队通过让模型完成曲线来预测每个参与者的未来学习潜力。然后,他们将50-70岁年龄段的实际考试成绩与模型预测的成绩进行了比较。
McNeish说:“动态测量模型捕获的方差是其他方法的三倍,其中包括单个时间点测试分数。换句话说,我们的模型预测了更高的分数(个人实现的学习潜能)要好三倍。” “现在对学生进行如此频繁的测试以衡量他们的进步,但是每名学生获得多个分数可以超出衡量进度的目的。可以将它们合并为一个学习潜能分数,以改善对人们的技能和能力预计将在何处结束的预测将来如果它们保持相同的轨迹。”
利用标准化测试的潜力
使用动态测量模型来预测学生的未来学习潜力,不需要更改政策或进行新的测试。该模型所需的测试成绩已经存在,并且由于通过了《不让任何一个孩子落后法案》和《每个学生成功法案》而获得。
麦克尼什说:“动态测量建模不需要专门的计算机即可运行,并且所花费的时间不会比该领域中使用的标准统计模型长得多。” “从逻辑上讲,所有方面都可以在明天实施。”
该研究小组目前正在开发用于传播动态测量模型的软件。