一般能力类测验自由组卷的操作误区
本帖最后由 智鼎 于 2011-10-26 15:12 编辑一般能力类测验自由组卷的操作误区
智鼎咨询/文
企业HR们的需求
随着现代科技的发展，人才测评技术越来越广泛地被用于企业人才甄选与发展培养。在人才选拔方面，企业HR希望自己能够拥有一套考察个体一般能力的测验题库（比如认知能力类测验或专业知识类测验），并且能够从题库中自由组题，形成多套试卷用于人才测评，以防止因测评试卷相同而容易引发诸如题目泄露、作答不真实等考试事故。那么这种情况在现实中能够实现吗？实际使用过程又存在哪些误区呢？
自由组卷有何利弊？
通常来说，企业HR会借助在线测评系统等平台来实现从测验题库中自由组卷。企业HR会为了避免重复的题目或试卷而从题库中让系统随机抽题来组成试卷，这样形成的试卷其题目内容不同、题目顺序也可以随机打乱，就能够避免企业HR们担心的一些问题。
这样的操作符合心理测量学的标准吗？
心理测量学要求标准化的考试。有人认为标准化考试就是由专门的测验机构编制并组织实施的考试；有人认为标准化考试就是采用选择题等能客观评分的题目进行的考试；也有人认为标准化考试就是采用统计学上的标准分来记分、合分的考试；还有人认为标准化考试就是用标准参照点（常模）来解释分数的考试等。上述几种看法都是有失偏颇的。标准化考试是按照系统的科学程序组织、具有统一的标准、并对误差做了严格控制的考试。考试是一个系统的过程，每个环节都可能带来误差，因此对考试的每个环节都要标准化。具体包括：试题编制的标准化、施测过程的标准化、评分记分的标准化、分数合成的标准化以及分数解释的标准化等。
好的标准化考试应该具备三个特征：第一，可靠性：即信度，指的是考试分数的稳定性与一致性。对同一群学生实施同一个考试，在考生知识、能力水平未变的情况下，多次考试结果应该稳定、一致，否则便不可信。第二：有效性：即效度，指的是一次考试是否测到了所要测量的东西，是否达到了测量的目的。第三，实用性：指的是考试是否易于实施，是否省时，是否易于评分，分数是否容易解释，是否有复本可用等。
由系统随机抽题组卷形成的测验并不符合心理测量学所要求的标准化考试：
首先，自由组卷的随机性抽题容易导致所抽出的题目不全是测量同一个东西，这样测出来的结果就不具有较好的稳定性与一致性，也不能真正测出所要测量的东西而达到测量的目的。
其次，心理测量学要求按照由易到难这样的题目顺序安排，这也符合人们一般做题的顺序；自由组卷的随机性容易导致题目难度的排列并不一定是按照心理测量学所要求的由易到难的顺序，有可能是比较难的题目放在了试卷的前面，这样就会影响被测评者的考试状态和结果。
第三，心理测量学要求在同一套试卷中相同或相似的知识点或题目规则不宜太多，题目规则或知识点考查应尽量全面丰富；自由组卷的随机性容易导致一套试卷中可能会出现题目规则或考点相同或相似的若干道题目，这样整个测验的测评结果的差异很有可能就是由这相同或相似的题目规则或知识点而引起的，并不能真正说明不同测评对象的能力差异。
第四，心理测量学要求标准化考试要有标准化的分数合成和分数解释，有标准化的分数就要求有测验的常模；而随机组成的试卷有时是没有相应的数据样本计算出的常模的。
另外，自由组卷的随机性也不能完全避免新组的试卷中不会出现以前用过的曝光度较高的题目。
自由组卷应如何操作？
基于企业HR们在自由组卷中的误区，我们建议可通过两种方式满足HR的自由组卷的需求。
一种方式是由在线测评系统的供应商提供满足企业HR需求的标准化测验。这样的测验既是标准化的，又有相应的常模，可以得到测评对象的常模分数，这样更能体现不同测评对象在群体中的不同位置。同时，供应商的咨询师还能够根据具体需求提供相应的等值测验，以便于同类测评对象分批测评。所谓等值测验指的是测验题目、题目答案、题目顺序、计分方式、测验难度、测验区分度等都相同的两套或多套标准化测验。这样可以满足同样的被测评对象分批测评或比较的需求。
另一种方式是由供应商对企业HR进行如何组卷的培训。供应商中的咨询师提供的标准化测验也是根据需求由不同的题目组合而成的，但是在组卷时，咨询师会按照标准化考试所要求的一些流程来操作，以保证提供给客户的测验是有数据有常模的标准化测验，测验题目是按照由易到难的顺序排列，题目规则和考察的知识点也是多样化的、题目的难度和区分度也符合客户需求等。
本文作者系智鼎管理咨询顾问，如需转载，请联系智鼎咨询
页:
[1]