2024年4月26日发(作者:营婉秀)
2021年第2期
JournalofChinaExaminations
No.2,2021
基于情境效度测评英语学科核心素养的
试题命制与改进
赵连杰
(首都师范大学,北京100037)
摘要:以情境效度为微观视角,阐述情境创设在测评英语学科核心素养试题命制中的重要价
值和意义。基于情境效度的判定标准,结合具体的试题命制案例,透视命题情境的优化和改进。
在此基础上,对基于情境效度的英语学科核心素养测评命题提出3点建议:1)重视主观题的试题
情境设计;2)避免试题情境传递冗余信息;3)体现试题情境的育人价值。
关键词:英语命题;学科核心素养;命题情境;情境效度
【中图分类号】G405【文献标识码】A【文章编号】1005-8427(2021)02-0040-7
DOI:10.19360/.11-3303/g4.2021.02.004
测试与评价在基础教育课程改革中一直占
有举足轻重的地位。随着《普通高中英语课程标
准(2017年版)》(以下简称《课程标准》)的颁布与
实施,如何科学合理地开展指向英语学科核心素
养的测评研究与实践,成为英语基础教育课程改
革和发展的重要议题。尽管《课程标准》强调基
于英语学科核心素养的课堂教学评价的重要性,
倡导“评价主体的多元化、评价形式的多样化、评
[1]81
价内容的全面性和评价目标的多维化”,但在
素养进行英语学业水平考试和高考命题
[2]
;从测
评内容与要求、测试使用的语言素材、测试方式
等方面提出具体的命题建议
[3]
;聚焦问题情境在
考试命题中的重要性,探讨英语考试的命题理念
与技术
[4]
;分析主观题之于英语学科核心素养测
评的特殊优势
[5]
;等等。上述研究为进一步明晰
基于英语学科核心素养的命题提供了诸多经验
和启发;但是,已有研究趋于从整体上对试题拟
制的注意事项和具体策略作一般性探讨,鲜有研
究对试题拟制中的关键要素进行集中讨论。鉴
于此,本文从情境效度的微观视角讨论其对测查
英语学科核心素养的重要意义,并结合具体的试
题命制案例,透视试题的优化和改进过程。
未来一段时期,英语课堂教学评价要由理念学习
走向实践应用还需多方共同努力。
《课程标准》在对学业水平考试与高考命题
的建议中指出,考试命题要“全面考查英语学科
[1]94
核心素养”。目前,针对如何科学、精准地命制
指向考查英语学科核心素养的试题,有关学者已
进行初步探讨,如:从考试大纲研制、考查内容、
命题素材、命题技巧等方面,探究如何基于核心
收稿日期:2020-06-19修回日期:2020-12-03
1情境效度与英语学科核心素养测评的
试题命制
情境是界定学科核心素养内涵的重要组成
北京市教育委员会2020年度社科计划一般项目“课例研究对中学英语教师学习的影响效应探
基金项目:
析”(SM2)
赵连杰(1985—),男,首都师范大学教师教育学院讲师。
作者简介:
赵连杰:基于情境效度测评英语学科核心素养的试题命制与改进
·41·
部分,因此,情境自然也是英语学科核心素养测
评试题命制过程中不可缺少的重要因素。那么,
什么是情境?什么样的情境创设是有效的?为
什么有效的情境创设是评价探查英语核心素养
试题质量的重要指标?以下回答这些问题。
1.1情境与情境活动
英语学科核心素养结构复杂且抽象,无法直
接观测,只有在问题情境或任务情境中才能表现
出来。“情境提供了联接现实生活世界和学科领
域的桥梁,为引发学科核心素养的表现提供了载
体”
[6]
。从这个意义上讲,“情境所发挥的功能不
是背景音,而是为引导学生思考问题提供多样化
的视角以及真实而复杂的生态环境,提供解决问
题过程中需要考虑的控制条件与影响因素”
[7]
。
情境有广义和狭义之分。广义的情境指的
是个体所处的社会文化情境,是社会、文化、历史
等各种结构脉络的集合;狭义的情境则指“评价
任务或教学活动所依存的现实主题、人物、事件
及其时空关系”
[6]
。在我国的高考评价领域,情境
指的是真实的问题背景,是以问题或任务为中心
构成的活动场域;情境活动是指人们在情境中所
进行的解决问题或完成任务的活动
[8]36
。在课程
与教学领域,由于教学活动与测评活动的特殊
性,情境可以进一步分为教学情境和命题情境
[9]
,
如此区分可以避免混淆,以便于发挥各自应有的
作用和功能。
综上所述,考查英语学科核心素养的试题情
境特指狭义情境范畴内的命题情境。需要特别
说明的是,由于英语是语言学科,命题情境不仅
包括试题的任务情境,还应包含试题素材本身创
设的主题语境。本文主要讨论的是试题的任务情
境,这种情境将问题意识镶嵌其中,构成问题情
境,是测查学生英语学科核心素养表现的载体。
1.2情境效度及其判定标准
创设质量较佳的命题情境并非易事,而指向
测查英语核心素养的情境创设则更具挑战性,这
涉及情境创设的效度问题。效度是在教育和心
理测量学这一特定语境中对“有效程度”或“有效
性”一词的简称
[10]
,即一项测试在多大程度上测量
了该测的内容
[11-12]
。在语言测试领域,情境效度
(contextvalidity)作为一种先验式效度证据,关注
的重点是从语言使用的社会维度看情境创设的
有效性
[13]
。本文借鉴这一概念,将情境效度界定
为,语言测试中指向问题解决或任务完成的情境
创设能引发学生英语学科核心素养表现的有效
程度。据此,可以作出如下假设:情境效度高的
试题可以有效引发学生在特定问题情境下的英
语学科核心素养表现,情境效度低的试题则难以
引发学生相应的素养表现。
判定情境效度高低的标准是什么?有研究
指出,有效的测试情境需要具备如下特征:一是
真实问题产生的复杂背景为问题解决提供影响
因素;二是在情境中创造矛盾冲突;三是为解决
问题提供多样化的视角,为多样化问题解决路径
提供条件
[7]
。笔者基于对核心素养及其测评属性
的认识,将情境效度的判定标准归纳为“一个中
心,四个原则”,即命制考查英语学科核心素养的
试题时,效度高的情境创设以问题意识为中心,
遵循真实性、关联性、多样性和恰当性4个原则,
其间的关系可用图1来表示。
真实
性
恰当问题关联
性意识性
多样
性
图1情境效度的判定标准
·42·
首先,命题情境是否有问题意识是判定情境
效度高低的核心标准。由于英语学科核心素养
的关键点是在问题情境中分析问题和解决问题
的能力
[4]
,问题情境自然就成为探查学生核心素
养的理想情境载体。基于问题情境的试题通常
给出一个具体交际情境以及需要解决的问题,学
生需要根据情境的要求,获取并处理信息,解决具
体的问题
[4]
。需要强调的是,情境创设中的问题意
识不仅体现在具体的英语试题任务设计之中,还
可以体现在试题语料素材的选取以及试题形式的
开发与设计等方面。
其次,命题情境是否遵循“四个原则”也是判
定情境效度高低的重要标准。第一,情境的真实
性指要创设“源于现实世界、贴近学生经验的生
活场景”
[6]
,要“根据英语语言的实际使用情况命
题”
[1]96
。在语言测试领域,试题要求学生完成的
任务应接近或类似现实生活中人们使用语言做
的事情。例如,广为熟知的PISA阅读测试就非常
注重在真实的问题情境中考查学生运用阅读素
养分析和解决问题的能力。第二,情境的关联性
指情境的创设是否充分考虑学生的生活经验和
认知发展水平
[1]97
,即试题所选择的语料素材以及
基于素材所创设的语言运用情境是否与学生的
生活经验及认知水平相关联和适应。第三,情境
的多样性指情境的创设要考虑到设置不同层级
的情境活动,以使学生能够充分展示自身已经具
备的英语学科核心素养。命制涉及基础性、综合
性、应用性和创新性4种类型的题目对应着多样
的情境类型,如良性结构的简单问题情境、劣性
结构的生活实践问题情境和学习探索问题情
境
[8]37
。第四,情境的恰当性即情境呈现方式的恰
当程度,是从问题解决过程的角度审视情境的呈
现或表述方式
[6]
。恰当的情境呈现形式能够最大
化地呈现出关键性的情境特征,更有利于引发学
生的英语学科核心素养表现。
当然,除了上述归纳的标准外,设计英语试
2021年第2期
题时,用于创设情境的语言素材的选取也很重
要,要尽量使用真实、地道、典型的当代英语语言
素材,提供语义完整且能如实反映中外物质和精
神文化精髓的语篇。
1.3情境效度对核心素养测评试题命制的意义
确立情境效度的判定标准对科学评估情境
创设的质量具有十分重要的价值。综合来看,效
度较高的情境之于英语核心素养测评试题命制
的意义主要体现在以下3个方面。
首先,情境效度高的试题有助于考查学生的
英语语言能力。《课程标准》从语言教育的视角界
定了语言能力,指出语言能力主要指的是英语语
言运用能力,而真实的语言运用离不开具体的社
会情境,即具体的语言使用场景。因此,高效度
的情境创设为学生真实地运用英语获取信息、完
成任务、分析和解决问题提供了活动载体,为精
准测量学生的英语学科核心素养奠定了坚实的
基础。
其次,情境效度高的试题有助于考查学生的
迁移创新能力。不同于“去情境化”或“低情境
化”的语言知识和语言技能测试,指向英语学科
核心素养的试题鼓励学生将所学的知识和获得
的能力迁移到新的情境中,用于解决真实的问
题,这就需要为学生创设利于其迁移创新的命题
情境。在情境创设中,试题命制人员要理解生活
现象与命题情境的区别与联系,深刻认识到只有
‘现象’素材的基础上进行包装、改造,并
赋予其深刻的意蕴,才能称得上试题‘情境’”
[14]
。
因此,情境效度高的英语试题要让学生体悟到情
境背后的价值和意义,成功驱动学生投入问题情
境的分析和具体问题的解决。
最后,情境效度高的试题有助于考查学生的
必备品格。核心素养时代下,育人目标主要围绕
培养学生“在什么情境下运用什么知识能做什么
事(关键能力),是否持续地做事(必备品格),是
否正确地做成事(价值观念)”
[15]
展开。必备品格
“在客观
赵连杰:基于情境效度测评英语学科核心素养的试题命制与改进
·43·
作为英语学科核心素养的关键构成维度,是素养
测评不可回避的考查目标。就当下的纸笔测验
而言,考查语言能力的理念与技术已经越来越成
熟,但诸如文化意识、情感态度、学习意愿等必备
品格则难以通过纸笔考试直接考查,设置高效度
的问题情境及情境活动则会在一定程度弥补这
方面的缺憾。试题的情境效度高,意味着问题情
境真实,学生在解决问题的过程中必然会调动情
感、态度、价值观等必备品格资源。从这个意义
上说,情境效度高的试题能内隐地考查到学生的
非认知能力维度,进而更加全面地覆盖到素养评
价的整体内涵。
综上所述,情境和情境活动是英语学科核心
素养命题框架中必不可少的要素,试题情境效度
的高低是评价试题质量的核心指标之一。在命
制试题时,要依据情境效度的判定标准对命题情
境进行持续地优化和改进,最大限度地发挥情境
在素养测评中的作用。
2基于情境效度测评英语学科核心素养
的试题命制与改进案例
近年来,核心素养背景下的英语学科能力测
评研究受到较高的关注。这类研究旨在基于“英
语学科能力要素内涵及其表现指标框架”
[16]
,开发
集命题规划、试题设计、评分标准制定、分数解释
等为一体的学科能力测评工具体系
[17-18]
。
英语学科能力的命题在理论基础、理念与策
略、过程与方法等方面为基于英语学科核心素养
的命题奠定了坚实的基础,为后者提供了可迁
移、可借鉴的宝贵经验。但是,从素养测评的角
度看,学科能力的命题重在考查学生的关键能
力,对命题情境及情境活动的关注稍显不足;特
别是,学科能力测评中命题情境的“问题意识”相
对淡薄,“题目意识”则较为浓厚,不利于考查学
生在特定情境中运用复杂思维和推理技巧解决
实际问题的能力。鉴于此,下面结合2道阅读试
题,分析如何从情境效度的视角将基于学科能
力的命题改造成指向考查英语学科核心素养的
试题。
例1:Butoneproblemthesurveyfoundisthat
many
much
students
Judy
skills
says
ofthe
todetermine
these
information
usttoo
students
they
thequality
haven
find
ofonline
’
on
tdeveloped
theInternet
information.
the
.
It’ssomethingthatreallyhastobetaughtandpaid
attention
pen
analyze
quickly,
e
youdo
in
need
aworld
tostep
inwhich
back,
things
reflect
hap
内容略)
theinformationyouhave.”(限于篇幅,其余
and
tal
Question:Whatisyourunderstandingof“digi
inyour
literacy
例
own
”
1素材的主题语境是
words
according
withno
tothis
more
paragraph?
“人与社会”
than15words.
Explainit
,具体的
话题是社会热点问题,通过对网络潜在问题的分
析,探讨网络对青少年的“双刃剑”影响。本题的
设置基于缺乏网络素养的弊端,即由于过于依赖
信息,却缺乏网络素养,学生尽管极易获取网络
信息,但不会评估其质量,导致在辨别信息真伪
上出现失误。
从基于学科能力命题的角度看,本题旨在考
查学生运用英语进行推理论证的能力。学生需
要整合本段的语言线索和逻辑关系等信息,反向
认识digitalliteracy,推导出具备此素养的学生该
如何对待网络信息。但是,从情境效度的角度来
说,本题的命题情境是不妥当的。最为突出的问
题是,本题仅有“题目”情境,而没有“问题”情境。
显然,题目和问题不是一个概念。“题目”情境的
设置一般都有固定的设问模板,如Whatisthe
best
the
titleforthepassage?What
passage?
text?Whatconclusioncan
is
be
the
drawn
main
from
idea
the
of
这样的情境设置刺激学生引发的表现是
Itcanbeinferredfromthetextthat
“答题”
...等。
,
“
·44·
而不是解决问题。总之,“题目”情境只具有“问
题”的外壳,并没有“问题”的灵魂,只有蕴含“问题
意识”的题目才有可能考查出学生的素养表现。
笔者认为,例1呈现的命题情境要重新创设,
以提高情境效度。下面是改进后的命题情境。
constantly
Directions:
emerging,
With
publishers
newwords
need
and
to
expressions
dictionary
new
be
wordin
in
the
order
Internet
tokeep
era,
pace
updatethe
“digital
withthe
literacy
itbased
”
define
isto
较之原来的
onyourunderstanding
“题目”情境,
of
改进后的命题情境
theparagraph?
有以下3方面的提升:其一,增加了问题意识。向
考生指明了阅读素材后要解决的问题是尝试为
英语词典收入的新词digitalliteracy下定义。其
二,使命题情境具有真实性。根据试题素材的主
题语境可知,digitalliteracy是全文的关键词,是处
理和解决网络使用弊端的“抓手”。要求考生在
词典中为其下定义,与现实生活中的情境吻合度
较高。其三,新的命题情境与考生的生活经验和
认知水平相关联。众所周知,digitalliteracy也是
学生目前普遍缺乏的重要素养,给其下定义的过
程不仅涉及对素材信息进行提取、理解、推断的思
维加工,还能促使考生反思网络信息的两面性。
例2:AlthoughformanyyearsWelshwasdying
out
spectacular
asalanguage,
revival.
these
In1931
days
more
it’s
than
seeing
36%
quite
ofthe
a
population
thisfiguregradually
spokeWelsh.
dropped
Over
down
thefollowing
toaround
years
ingthefollowingtenyears
18%
the
ey
Welsh
was
rise
language
invested
schools
inWelsh
and
learning
thefigures
projects
started
and
hadgone
rapidly.
upto
In
to
around
2001the
20%.
number
Thatpercentage
ofWelshspeakers
lhavealongway
isprob
togo
2021年第2期
before
are
幅,
certainly
wereach
其余内容略
moving
theprewarpercentages—butwe
)
intherightdirection.(限于篇
erschanged
Question
since
:How
1930s?
hasthe
Choose
number
the
of
correct
Welshspeak
fromthefollowingoptions.
answer
50%50%
40%
30%
40%
30%
20%20%
10%10%
0%
1930
A
now
0%
1930now
50%50%
B
40%
30%
40%
30%
20%20%
10%10%
0%
1930now
0%
1930now
CD
例2素材的主题语境是“人与社会”,具体的
话题内容是历史、社会与文化,主要介绍了英国
威尔士语的特点及说威尔士语人数的变化。可
以看到,本题设计新颖,富有创意,通过设置选择
题考查学生整合处理信息的能力,要求学生能从
零散的信息中梳理信息间的关联,整合有特定逻
辑的信息结构。
具体而言,本题旨在让考生通过整合文本中
有关讲威尔士语的人数比率变化的数据信息,以
及描述变化幅度的语言表达选出最符合1931年
以来讲威尔士语人数整体变化的趋势图。应该
说,试题选材蕴含丰富的语言文化现象,内容贴
近学生的语言知识储备,能较好地考查学生梳理
和整合信息的能力。但从核心素养测评的角度
来讲,本题的情境效度很低,客观题的情境呈现
方式不能充分有效地考查考生真实的语言运用
能力;此外,学生答题的过程性体验纯粹是完成
一项语言测试任务,而不是通过阅读信息的获
取、梳理、传递和加工来解决特定情境下的问题。
因此,有必要对该题的命题情境进行升级改造,
提升其情境效度。
赵连杰:基于情境效度测评英语学科核心素养的试题命制与改进
·45·
languages
Directions:
the
shows
team,
spoken
You
changes
youare
in
are
in
asked
Great
participating
thenumber
to
Britain.
inasurveyon
draw
of
a
As
Welsh
line
amember
graph
speakers.
that
of
Please
whatyou
complete
haveread.
itonthefollowingchartbasedon
50%
40%
30%
20%
10%
0%
1930now
可以看出,改进后的试题由客观题变为主观
题。较之客观题,主观题具有命题灵活、开放,非
常便于设置多样的问题情境等诸多优势
[5]
。改进
后的命题情境以考生熟悉的项目式学习活动场
景为背景,蕴含明显的问题意识,让考生以项目
组成员的身份真实自然地完成文本信息的整合,
显示出较高效度情境的关联性特征。考生答题
的过程是任务完成的过程,也是体验问题解决的
过程。
3基于情境效度测评英语学科核心素养
的命题建议
命制情境效度高的英语试题是核心素养测
评设计的重要目标和追求。然而,在参照情境效
度的判定标准进行试题命制时,为避免出现“画
蛇添足”和“矫枉过正”的不良现象,还需注意以
下3个问题。
第一,重视主观题的命题情境设计。主观题
一般具有较高的测试效度;但是,如果主观题命
题情境的设置直接照搬或者生搬硬套客观题,只
是在作答形式上由选择题变成简答题,并没有对
命题情境本身进行设计与优化,那么就无法发挥
出主观题考查英语学科核心素养的特殊优势。
采用主观题测评英语学科核心素养,需要结合主
观题的特点设计命题情境,使其成为引发学生核
心素养发展表现的背景和舞台。
第二,避免命题情境传递冗余信息。命制具
有高效度情境的英语试题,要避免走向信息过剩
和冗余的极端。试题信息过剩会增加学生解读
信息的认知负荷,降低试题本身的效度,而且“会
导致情境的考查功能陷入形式主义的‘陷阱’之
中”
[14]
。因此,建议从信息冗余的角度审视命题
情境,促进问题意识和情境信息的深度融合,提
升二者的耦合度。
第三,体现命题情境的育人价值。在核心素
养测评语境下,创设真实而富有意义的测试情境
是提升命题质量的必然要求。其中,“富有意义”
就蕴含发挥命题情境及情境活动育人价值的现
实诉求。实际上,情境效度高的英语试题本身就
包含着对学生情感、态度和价值观的考查。从这
个意义上讲,情境的创设要基于对语篇的深度分
析和解读,要与语篇传递的主题意义相关联,如
此,学生作答的过程才会潜移默化地受到英语学
科育人价值的影响。
4结束语
英语学科核心素养的提出对基础教育阶段
英语考试与评价提出了更高的要求。如何命制
精准指向测评英语学科核心素养的试题正成为
广大一线英语教师热切关注的议题。议题本身
非常复杂,但可以预见的是,基于英语学科核心
素养的试题设计与开发的理念、技术、实践等将
逐步走向成熟。本文仅以情境效度的微观视角
切入,结合具体案例,探讨其对试题命制的意义
和价值,旨在为教师的命题实践提供借鉴和启
示。由于“情境”和“效度”都是极为复杂的构念,
关于二者的结合可以在多个层面展开讨论,如情
境的要素数量及各要素之间的关系对效度的影
响等,相关问题仍需进一步研究。
·46·
参考文献:
[1]教育部.普通高中英语课程标准(2017年版)[M].北
京:人民教育出版社,2018.
[2]陶百强.基于核心素养的英语学考与高考命题探讨
[3]程晓堂.英语学科核心素养及其测评[J].中国考试,
[4]程晓堂.基于问题情境的英语考试命题理念与技术
[5]赵连杰.指向英语学科核心素养测评的主观题设计
理念与技术[J].中国考试,2020(3):47-53.
展望,2018(10):39-51.
[6]杨向东.指向学科核心素养的考试命题[J].全球教育
[7]李倩.基于核心素养的高中语文考试命题研究[J].中
国考试,2018(10):14-19.
人民教育出版社,2019.
[8]教育部考试中心.中国高考评价体系说明[M].北京:
[9]李晓东.教学情境与命题情境的区分及其意义:基于
试,2020(1):47-53.
[10]邹申.语言测试[M].上海:上海外语教育出版社,2005:
183-184.
[J].中国考试,2018(12):1-8.
2017(5):7-13.
[J].中国考试,2017(4):25-33.
2021年第2期
[11]ngaboutlanguageassessment:di
lemmas,decisionsanddirections[M].Beijing:Foreign
LanguageTeachingandResearchPress,2004:249.
[12]gEnglishlanguagetests[M].Bei
2000:159.
jing:ForeignLanguageTeachingandResearchPress,
[13]getestingandvalidation:anevi
lan,2005:19-20.
dence-basedapproach[M].London:PalgraveMacmil
[14]龚文慧,邢红军.论化学命题情境的困境及其改进
路径[J].课程·教材·教法,2020(2):138-143.
教育报,2019-08-29(6).
学报,2017(2):61-70.
[15]崔允漷.新课标新高考如何建构“新教学”[N].中国
[16]王蔷,胡亚琳.英语学科能力及其表现研究[J].教育
[17]赵连杰.英语学科能力测评工具的开发策略与样题
例析[J].中小学英语教学与研究,2019(6):61-66.
[18]王蔷,赵连杰.“中小学生英语学科能力表现框架”
在英语教学和测评中的应用[J].英语学习(教师版),
2018(2):17-26.
《普通高中思想政治课程标准》的文本分析[J].中国考
DevelopingEnglishTeststoAssessStudents’EnglishSubjectCoreCompetencies
fromthePerspectiveofContextValidity
ZHAOLianjie
(CapitalNormalUniversity,Beijing100037,China)
Abstract:ExaminationreformbasedonEnglishsubjectcorecompetenciesisahottopicinthefieldof
ngreliableandreasonablecontextsforspecifictestingitemsisoneofthekeyelementsto
rtomakeupfortheresearch
shortageofcontextdesignincompetency-orientedEnglishtesting,thispapertakescontextvalidityasa
microscopicperspectiveandexpoundsitsimportantvalueandsignificanceinevaluatingEnglishsubjectcore
s,accordingtothejudgmentalcriteriaofcontextvalidityandspecificcases,thepaper
y,threesuggestionsareput
y,reflecttheeducationalvalueofthe
testingcontexts.
Keywords:Englishtestdevelopment;subjectcorecompetencies;contextfortestitems;contextvalidity
(责任编辑:陈宁)
y,ly,
2024年4月26日发(作者:营婉秀)
2021年第2期
JournalofChinaExaminations
No.2,2021
基于情境效度测评英语学科核心素养的
试题命制与改进
赵连杰
(首都师范大学,北京100037)
摘要:以情境效度为微观视角,阐述情境创设在测评英语学科核心素养试题命制中的重要价
值和意义。基于情境效度的判定标准,结合具体的试题命制案例,透视命题情境的优化和改进。
在此基础上,对基于情境效度的英语学科核心素养测评命题提出3点建议:1)重视主观题的试题
情境设计;2)避免试题情境传递冗余信息;3)体现试题情境的育人价值。
关键词:英语命题;学科核心素养;命题情境;情境效度
【中图分类号】G405【文献标识码】A【文章编号】1005-8427(2021)02-0040-7
DOI:10.19360/.11-3303/g4.2021.02.004
测试与评价在基础教育课程改革中一直占
有举足轻重的地位。随着《普通高中英语课程标
准(2017年版)》(以下简称《课程标准》)的颁布与
实施,如何科学合理地开展指向英语学科核心素
养的测评研究与实践,成为英语基础教育课程改
革和发展的重要议题。尽管《课程标准》强调基
于英语学科核心素养的课堂教学评价的重要性,
倡导“评价主体的多元化、评价形式的多样化、评
[1]81
价内容的全面性和评价目标的多维化”,但在
素养进行英语学业水平考试和高考命题
[2]
;从测
评内容与要求、测试使用的语言素材、测试方式
等方面提出具体的命题建议
[3]
;聚焦问题情境在
考试命题中的重要性,探讨英语考试的命题理念
与技术
[4]
;分析主观题之于英语学科核心素养测
评的特殊优势
[5]
;等等。上述研究为进一步明晰
基于英语学科核心素养的命题提供了诸多经验
和启发;但是,已有研究趋于从整体上对试题拟
制的注意事项和具体策略作一般性探讨,鲜有研
究对试题拟制中的关键要素进行集中讨论。鉴
于此,本文从情境效度的微观视角讨论其对测查
英语学科核心素养的重要意义,并结合具体的试
题命制案例,透视试题的优化和改进过程。
未来一段时期,英语课堂教学评价要由理念学习
走向实践应用还需多方共同努力。
《课程标准》在对学业水平考试与高考命题
的建议中指出,考试命题要“全面考查英语学科
[1]94
核心素养”。目前,针对如何科学、精准地命制
指向考查英语学科核心素养的试题,有关学者已
进行初步探讨,如:从考试大纲研制、考查内容、
命题素材、命题技巧等方面,探究如何基于核心
收稿日期:2020-06-19修回日期:2020-12-03
1情境效度与英语学科核心素养测评的
试题命制
情境是界定学科核心素养内涵的重要组成
北京市教育委员会2020年度社科计划一般项目“课例研究对中学英语教师学习的影响效应探
基金项目:
析”(SM2)
赵连杰(1985—),男,首都师范大学教师教育学院讲师。
作者简介:
赵连杰:基于情境效度测评英语学科核心素养的试题命制与改进
·41·
部分,因此,情境自然也是英语学科核心素养测
评试题命制过程中不可缺少的重要因素。那么,
什么是情境?什么样的情境创设是有效的?为
什么有效的情境创设是评价探查英语核心素养
试题质量的重要指标?以下回答这些问题。
1.1情境与情境活动
英语学科核心素养结构复杂且抽象,无法直
接观测,只有在问题情境或任务情境中才能表现
出来。“情境提供了联接现实生活世界和学科领
域的桥梁,为引发学科核心素养的表现提供了载
体”
[6]
。从这个意义上讲,“情境所发挥的功能不
是背景音,而是为引导学生思考问题提供多样化
的视角以及真实而复杂的生态环境,提供解决问
题过程中需要考虑的控制条件与影响因素”
[7]
。
情境有广义和狭义之分。广义的情境指的
是个体所处的社会文化情境,是社会、文化、历史
等各种结构脉络的集合;狭义的情境则指“评价
任务或教学活动所依存的现实主题、人物、事件
及其时空关系”
[6]
。在我国的高考评价领域,情境
指的是真实的问题背景,是以问题或任务为中心
构成的活动场域;情境活动是指人们在情境中所
进行的解决问题或完成任务的活动
[8]36
。在课程
与教学领域,由于教学活动与测评活动的特殊
性,情境可以进一步分为教学情境和命题情境
[9]
,
如此区分可以避免混淆,以便于发挥各自应有的
作用和功能。
综上所述,考查英语学科核心素养的试题情
境特指狭义情境范畴内的命题情境。需要特别
说明的是,由于英语是语言学科,命题情境不仅
包括试题的任务情境,还应包含试题素材本身创
设的主题语境。本文主要讨论的是试题的任务情
境,这种情境将问题意识镶嵌其中,构成问题情
境,是测查学生英语学科核心素养表现的载体。
1.2情境效度及其判定标准
创设质量较佳的命题情境并非易事,而指向
测查英语核心素养的情境创设则更具挑战性,这
涉及情境创设的效度问题。效度是在教育和心
理测量学这一特定语境中对“有效程度”或“有效
性”一词的简称
[10]
,即一项测试在多大程度上测量
了该测的内容
[11-12]
。在语言测试领域,情境效度
(contextvalidity)作为一种先验式效度证据,关注
的重点是从语言使用的社会维度看情境创设的
有效性
[13]
。本文借鉴这一概念,将情境效度界定
为,语言测试中指向问题解决或任务完成的情境
创设能引发学生英语学科核心素养表现的有效
程度。据此,可以作出如下假设:情境效度高的
试题可以有效引发学生在特定问题情境下的英
语学科核心素养表现,情境效度低的试题则难以
引发学生相应的素养表现。
判定情境效度高低的标准是什么?有研究
指出,有效的测试情境需要具备如下特征:一是
真实问题产生的复杂背景为问题解决提供影响
因素;二是在情境中创造矛盾冲突;三是为解决
问题提供多样化的视角,为多样化问题解决路径
提供条件
[7]
。笔者基于对核心素养及其测评属性
的认识,将情境效度的判定标准归纳为“一个中
心,四个原则”,即命制考查英语学科核心素养的
试题时,效度高的情境创设以问题意识为中心,
遵循真实性、关联性、多样性和恰当性4个原则,
其间的关系可用图1来表示。
真实
性
恰当问题关联
性意识性
多样
性
图1情境效度的判定标准
·42·
首先,命题情境是否有问题意识是判定情境
效度高低的核心标准。由于英语学科核心素养
的关键点是在问题情境中分析问题和解决问题
的能力
[4]
,问题情境自然就成为探查学生核心素
养的理想情境载体。基于问题情境的试题通常
给出一个具体交际情境以及需要解决的问题,学
生需要根据情境的要求,获取并处理信息,解决具
体的问题
[4]
。需要强调的是,情境创设中的问题意
识不仅体现在具体的英语试题任务设计之中,还
可以体现在试题语料素材的选取以及试题形式的
开发与设计等方面。
其次,命题情境是否遵循“四个原则”也是判
定情境效度高低的重要标准。第一,情境的真实
性指要创设“源于现实世界、贴近学生经验的生
活场景”
[6]
,要“根据英语语言的实际使用情况命
题”
[1]96
。在语言测试领域,试题要求学生完成的
任务应接近或类似现实生活中人们使用语言做
的事情。例如,广为熟知的PISA阅读测试就非常
注重在真实的问题情境中考查学生运用阅读素
养分析和解决问题的能力。第二,情境的关联性
指情境的创设是否充分考虑学生的生活经验和
认知发展水平
[1]97
,即试题所选择的语料素材以及
基于素材所创设的语言运用情境是否与学生的
生活经验及认知水平相关联和适应。第三,情境
的多样性指情境的创设要考虑到设置不同层级
的情境活动,以使学生能够充分展示自身已经具
备的英语学科核心素养。命制涉及基础性、综合
性、应用性和创新性4种类型的题目对应着多样
的情境类型,如良性结构的简单问题情境、劣性
结构的生活实践问题情境和学习探索问题情
境
[8]37
。第四,情境的恰当性即情境呈现方式的恰
当程度,是从问题解决过程的角度审视情境的呈
现或表述方式
[6]
。恰当的情境呈现形式能够最大
化地呈现出关键性的情境特征,更有利于引发学
生的英语学科核心素养表现。
当然,除了上述归纳的标准外,设计英语试
2021年第2期
题时,用于创设情境的语言素材的选取也很重
要,要尽量使用真实、地道、典型的当代英语语言
素材,提供语义完整且能如实反映中外物质和精
神文化精髓的语篇。
1.3情境效度对核心素养测评试题命制的意义
确立情境效度的判定标准对科学评估情境
创设的质量具有十分重要的价值。综合来看,效
度较高的情境之于英语核心素养测评试题命制
的意义主要体现在以下3个方面。
首先,情境效度高的试题有助于考查学生的
英语语言能力。《课程标准》从语言教育的视角界
定了语言能力,指出语言能力主要指的是英语语
言运用能力,而真实的语言运用离不开具体的社
会情境,即具体的语言使用场景。因此,高效度
的情境创设为学生真实地运用英语获取信息、完
成任务、分析和解决问题提供了活动载体,为精
准测量学生的英语学科核心素养奠定了坚实的
基础。
其次,情境效度高的试题有助于考查学生的
迁移创新能力。不同于“去情境化”或“低情境
化”的语言知识和语言技能测试,指向英语学科
核心素养的试题鼓励学生将所学的知识和获得
的能力迁移到新的情境中,用于解决真实的问
题,这就需要为学生创设利于其迁移创新的命题
情境。在情境创设中,试题命制人员要理解生活
现象与命题情境的区别与联系,深刻认识到只有
‘现象’素材的基础上进行包装、改造,并
赋予其深刻的意蕴,才能称得上试题‘情境’”
[14]
。
因此,情境效度高的英语试题要让学生体悟到情
境背后的价值和意义,成功驱动学生投入问题情
境的分析和具体问题的解决。
最后,情境效度高的试题有助于考查学生的
必备品格。核心素养时代下,育人目标主要围绕
培养学生“在什么情境下运用什么知识能做什么
事(关键能力),是否持续地做事(必备品格),是
否正确地做成事(价值观念)”
[15]
展开。必备品格
“在客观
赵连杰:基于情境效度测评英语学科核心素养的试题命制与改进
·43·
作为英语学科核心素养的关键构成维度,是素养
测评不可回避的考查目标。就当下的纸笔测验
而言,考查语言能力的理念与技术已经越来越成
熟,但诸如文化意识、情感态度、学习意愿等必备
品格则难以通过纸笔考试直接考查,设置高效度
的问题情境及情境活动则会在一定程度弥补这
方面的缺憾。试题的情境效度高,意味着问题情
境真实,学生在解决问题的过程中必然会调动情
感、态度、价值观等必备品格资源。从这个意义
上说,情境效度高的试题能内隐地考查到学生的
非认知能力维度,进而更加全面地覆盖到素养评
价的整体内涵。
综上所述,情境和情境活动是英语学科核心
素养命题框架中必不可少的要素,试题情境效度
的高低是评价试题质量的核心指标之一。在命
制试题时,要依据情境效度的判定标准对命题情
境进行持续地优化和改进,最大限度地发挥情境
在素养测评中的作用。
2基于情境效度测评英语学科核心素养
的试题命制与改进案例
近年来,核心素养背景下的英语学科能力测
评研究受到较高的关注。这类研究旨在基于“英
语学科能力要素内涵及其表现指标框架”
[16]
,开发
集命题规划、试题设计、评分标准制定、分数解释
等为一体的学科能力测评工具体系
[17-18]
。
英语学科能力的命题在理论基础、理念与策
略、过程与方法等方面为基于英语学科核心素养
的命题奠定了坚实的基础,为后者提供了可迁
移、可借鉴的宝贵经验。但是,从素养测评的角
度看,学科能力的命题重在考查学生的关键能
力,对命题情境及情境活动的关注稍显不足;特
别是,学科能力测评中命题情境的“问题意识”相
对淡薄,“题目意识”则较为浓厚,不利于考查学
生在特定情境中运用复杂思维和推理技巧解决
实际问题的能力。鉴于此,下面结合2道阅读试
题,分析如何从情境效度的视角将基于学科能
力的命题改造成指向考查英语学科核心素养的
试题。
例1:Butoneproblemthesurveyfoundisthat
many
much
students
Judy
skills
says
ofthe
todetermine
these
information
usttoo
students
they
thequality
haven
find
ofonline
’
on
tdeveloped
theInternet
information.
the
.
It’ssomethingthatreallyhastobetaughtandpaid
attention
pen
analyze
quickly,
e
youdo
in
need
aworld
tostep
inwhich
back,
things
reflect
hap
内容略)
theinformationyouhave.”(限于篇幅,其余
and
tal
Question:Whatisyourunderstandingof“digi
inyour
literacy
例
own
”
1素材的主题语境是
words
according
withno
tothis
more
paragraph?
“人与社会”
than15words.
Explainit
,具体的
话题是社会热点问题,通过对网络潜在问题的分
析,探讨网络对青少年的“双刃剑”影响。本题的
设置基于缺乏网络素养的弊端,即由于过于依赖
信息,却缺乏网络素养,学生尽管极易获取网络
信息,但不会评估其质量,导致在辨别信息真伪
上出现失误。
从基于学科能力命题的角度看,本题旨在考
查学生运用英语进行推理论证的能力。学生需
要整合本段的语言线索和逻辑关系等信息,反向
认识digitalliteracy,推导出具备此素养的学生该
如何对待网络信息。但是,从情境效度的角度来
说,本题的命题情境是不妥当的。最为突出的问
题是,本题仅有“题目”情境,而没有“问题”情境。
显然,题目和问题不是一个概念。“题目”情境的
设置一般都有固定的设问模板,如Whatisthe
best
the
titleforthepassage?What
passage?
text?Whatconclusioncan
is
be
the
drawn
main
from
idea
the
of
这样的情境设置刺激学生引发的表现是
Itcanbeinferredfromthetextthat
“答题”
...等。
,
“
·44·
而不是解决问题。总之,“题目”情境只具有“问
题”的外壳,并没有“问题”的灵魂,只有蕴含“问题
意识”的题目才有可能考查出学生的素养表现。
笔者认为,例1呈现的命题情境要重新创设,
以提高情境效度。下面是改进后的命题情境。
constantly
Directions:
emerging,
With
publishers
newwords
need
and
to
expressions
dictionary
new
be
wordin
in
the
order
Internet
tokeep
era,
pace
updatethe
“digital
withthe
literacy
itbased
”
define
isto
较之原来的
onyourunderstanding
“题目”情境,
of
改进后的命题情境
theparagraph?
有以下3方面的提升:其一,增加了问题意识。向
考生指明了阅读素材后要解决的问题是尝试为
英语词典收入的新词digitalliteracy下定义。其
二,使命题情境具有真实性。根据试题素材的主
题语境可知,digitalliteracy是全文的关键词,是处
理和解决网络使用弊端的“抓手”。要求考生在
词典中为其下定义,与现实生活中的情境吻合度
较高。其三,新的命题情境与考生的生活经验和
认知水平相关联。众所周知,digitalliteracy也是
学生目前普遍缺乏的重要素养,给其下定义的过
程不仅涉及对素材信息进行提取、理解、推断的思
维加工,还能促使考生反思网络信息的两面性。
例2:AlthoughformanyyearsWelshwasdying
out
spectacular
asalanguage,
revival.
these
In1931
days
more
it’s
than
seeing
36%
quite
ofthe
a
population
thisfiguregradually
spokeWelsh.
dropped
Over
down
thefollowing
toaround
years
ingthefollowingtenyears
18%
the
ey
Welsh
was
rise
language
invested
schools
inWelsh
and
learning
thefigures
projects
started
and
hadgone
rapidly.
upto
In
to
around
2001the
20%.
number
Thatpercentage
ofWelshspeakers
lhavealongway
isprob
togo
2021年第2期
before
are
幅,
certainly
wereach
其余内容略
moving
theprewarpercentages—butwe
)
intherightdirection.(限于篇
erschanged
Question
since
:How
1930s?
hasthe
Choose
number
the
of
correct
Welshspeak
fromthefollowingoptions.
answer
50%50%
40%
30%
40%
30%
20%20%
10%10%
0%
1930
A
now
0%
1930now
50%50%
B
40%
30%
40%
30%
20%20%
10%10%
0%
1930now
0%
1930now
CD
例2素材的主题语境是“人与社会”,具体的
话题内容是历史、社会与文化,主要介绍了英国
威尔士语的特点及说威尔士语人数的变化。可
以看到,本题设计新颖,富有创意,通过设置选择
题考查学生整合处理信息的能力,要求学生能从
零散的信息中梳理信息间的关联,整合有特定逻
辑的信息结构。
具体而言,本题旨在让考生通过整合文本中
有关讲威尔士语的人数比率变化的数据信息,以
及描述变化幅度的语言表达选出最符合1931年
以来讲威尔士语人数整体变化的趋势图。应该
说,试题选材蕴含丰富的语言文化现象,内容贴
近学生的语言知识储备,能较好地考查学生梳理
和整合信息的能力。但从核心素养测评的角度
来讲,本题的情境效度很低,客观题的情境呈现
方式不能充分有效地考查考生真实的语言运用
能力;此外,学生答题的过程性体验纯粹是完成
一项语言测试任务,而不是通过阅读信息的获
取、梳理、传递和加工来解决特定情境下的问题。
因此,有必要对该题的命题情境进行升级改造,
提升其情境效度。
赵连杰:基于情境效度测评英语学科核心素养的试题命制与改进
·45·
languages
Directions:
the
shows
team,
spoken
You
changes
youare
in
are
in
asked
Great
participating
thenumber
to
Britain.
inasurveyon
draw
of
a
As
Welsh
line
amember
graph
speakers.
that
of
Please
whatyou
complete
haveread.
itonthefollowingchartbasedon
50%
40%
30%
20%
10%
0%
1930now
可以看出,改进后的试题由客观题变为主观
题。较之客观题,主观题具有命题灵活、开放,非
常便于设置多样的问题情境等诸多优势
[5]
。改进
后的命题情境以考生熟悉的项目式学习活动场
景为背景,蕴含明显的问题意识,让考生以项目
组成员的身份真实自然地完成文本信息的整合,
显示出较高效度情境的关联性特征。考生答题
的过程是任务完成的过程,也是体验问题解决的
过程。
3基于情境效度测评英语学科核心素养
的命题建议
命制情境效度高的英语试题是核心素养测
评设计的重要目标和追求。然而,在参照情境效
度的判定标准进行试题命制时,为避免出现“画
蛇添足”和“矫枉过正”的不良现象,还需注意以
下3个问题。
第一,重视主观题的命题情境设计。主观题
一般具有较高的测试效度;但是,如果主观题命
题情境的设置直接照搬或者生搬硬套客观题,只
是在作答形式上由选择题变成简答题,并没有对
命题情境本身进行设计与优化,那么就无法发挥
出主观题考查英语学科核心素养的特殊优势。
采用主观题测评英语学科核心素养,需要结合主
观题的特点设计命题情境,使其成为引发学生核
心素养发展表现的背景和舞台。
第二,避免命题情境传递冗余信息。命制具
有高效度情境的英语试题,要避免走向信息过剩
和冗余的极端。试题信息过剩会增加学生解读
信息的认知负荷,降低试题本身的效度,而且“会
导致情境的考查功能陷入形式主义的‘陷阱’之
中”
[14]
。因此,建议从信息冗余的角度审视命题
情境,促进问题意识和情境信息的深度融合,提
升二者的耦合度。
第三,体现命题情境的育人价值。在核心素
养测评语境下,创设真实而富有意义的测试情境
是提升命题质量的必然要求。其中,“富有意义”
就蕴含发挥命题情境及情境活动育人价值的现
实诉求。实际上,情境效度高的英语试题本身就
包含着对学生情感、态度和价值观的考查。从这
个意义上讲,情境的创设要基于对语篇的深度分
析和解读,要与语篇传递的主题意义相关联,如
此,学生作答的过程才会潜移默化地受到英语学
科育人价值的影响。
4结束语
英语学科核心素养的提出对基础教育阶段
英语考试与评价提出了更高的要求。如何命制
精准指向测评英语学科核心素养的试题正成为
广大一线英语教师热切关注的议题。议题本身
非常复杂,但可以预见的是,基于英语学科核心
素养的试题设计与开发的理念、技术、实践等将
逐步走向成熟。本文仅以情境效度的微观视角
切入,结合具体案例,探讨其对试题命制的意义
和价值,旨在为教师的命题实践提供借鉴和启
示。由于“情境”和“效度”都是极为复杂的构念,
关于二者的结合可以在多个层面展开讨论,如情
境的要素数量及各要素之间的关系对效度的影
响等,相关问题仍需进一步研究。
·46·
参考文献:
[1]教育部.普通高中英语课程标准(2017年版)[M].北
京:人民教育出版社,2018.
[2]陶百强.基于核心素养的英语学考与高考命题探讨
[3]程晓堂.英语学科核心素养及其测评[J].中国考试,
[4]程晓堂.基于问题情境的英语考试命题理念与技术
[5]赵连杰.指向英语学科核心素养测评的主观题设计
理念与技术[J].中国考试,2020(3):47-53.
展望,2018(10):39-51.
[6]杨向东.指向学科核心素养的考试命题[J].全球教育
[7]李倩.基于核心素养的高中语文考试命题研究[J].中
国考试,2018(10):14-19.
人民教育出版社,2019.
[8]教育部考试中心.中国高考评价体系说明[M].北京:
[9]李晓东.教学情境与命题情境的区分及其意义:基于
试,2020(1):47-53.
[10]邹申.语言测试[M].上海:上海外语教育出版社,2005:
183-184.
[J].中国考试,2018(12):1-8.
2017(5):7-13.
[J].中国考试,2017(4):25-33.
2021年第2期
[11]ngaboutlanguageassessment:di
lemmas,decisionsanddirections[M].Beijing:Foreign
LanguageTeachingandResearchPress,2004:249.
[12]gEnglishlanguagetests[M].Bei
2000:159.
jing:ForeignLanguageTeachingandResearchPress,
[13]getestingandvalidation:anevi
lan,2005:19-20.
dence-basedapproach[M].London:PalgraveMacmil
[14]龚文慧,邢红军.论化学命题情境的困境及其改进
路径[J].课程·教材·教法,2020(2):138-143.
教育报,2019-08-29(6).
学报,2017(2):61-70.
[15]崔允漷.新课标新高考如何建构“新教学”[N].中国
[16]王蔷,胡亚琳.英语学科能力及其表现研究[J].教育
[17]赵连杰.英语学科能力测评工具的开发策略与样题
例析[J].中小学英语教学与研究,2019(6):61-66.
[18]王蔷,赵连杰.“中小学生英语学科能力表现框架”
在英语教学和测评中的应用[J].英语学习(教师版),
2018(2):17-26.
《普通高中思想政治课程标准》的文本分析[J].中国考
DevelopingEnglishTeststoAssessStudents’EnglishSubjectCoreCompetencies
fromthePerspectiveofContextValidity
ZHAOLianjie
(CapitalNormalUniversity,Beijing100037,China)
Abstract:ExaminationreformbasedonEnglishsubjectcorecompetenciesisahottopicinthefieldof
ngreliableandreasonablecontextsforspecifictestingitemsisoneofthekeyelementsto
rtomakeupfortheresearch
shortageofcontextdesignincompetency-orientedEnglishtesting,thispapertakescontextvalidityasa
microscopicperspectiveandexpoundsitsimportantvalueandsignificanceinevaluatingEnglishsubjectcore
s,accordingtothejudgmentalcriteriaofcontextvalidityandspecificcases,thepaper
y,threesuggestionsareput
y,reflecttheeducationalvalueofthe
testingcontexts.
Keywords:Englishtestdevelopment;subjectcorecompetencies;contextfortestitems;contextvalidity
(责任编辑:陈宁)
y,ly,