Field, John

Nakatsuhara, Fumiyo

English

University of Bedfordshire Repository

l CRELLA  Fumiyo	  Nakatsuhara	  &	  John	  Field	  CRELLA	  University	  of	  Bedfordshire	  	  	  Centre	  for	  Research	  in	  English	  Language	  Learning	  and	  Assessment	  The	  impact	  on	  candidates	  of	  examiner	  interven;ons	  in	  oral	  interview	  tests	  The	  9th	  Annual	  EALTA	  Conference	  31	  May	  -­‐	  3	  June	  2012	  Innsbruck,	  Austria	  l CRELLA  Acknowledgement	  	  •  This	  presenta,on	  draws	  upon	  reports	  on	  a	  research	  project	  funded	  by	  Trinity	  College	  London,	  and	  carried	  out	  under	  the	  Trinity	  Funded	  Research	  Programme.	  	  	  	  	  •  Any	  opinions,	  ﬁndings,	  conclusions,	  or	  recommenda,ons	  expressed	  in	  this	  material	  are	  those	  of	  the	  presenters	  and	  do	  not	  necessarily	  reﬂect	  the	  views	  of	  Trinity,	  its	  service	  providers,	  examina,on	  centres	  and/or	  distributors.	  	  l CRELLA  Research	  Background	  Examiner-­‐candidate	  interac;on	  •  Examiner	  variability	  and	  its	  impact	  on	  test	  performance	  –  The	  scores	  awarded	  in	  interview	  tests	  seem	  to	  be	  collaboraKvely	  achieved	  through	  interacKons	  driven	  by	  the	  interviewer’s	  discourse	  (e.g.	  Lazaraton,	  2002;	  Brown,	  2003)	  •  Issue	  of	  training	  and	  standardisa;on	  of	  interviewers	  	  4	  [High	  stakes	  exams]	  	  Every	  possible	  eﬀort	  is	  usually	  made	  to	  minimise	  interviewer	  variaKon	  (Taylor,	  2003)	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  CAVEAT	  	  The	  eﬀect	  of	  standardisaKon	  of	  interviewer	  protocols	  may	  ‘potenKally	  threaten	  the	  …	  validity	  of	  the	  procedure	  and…	  [inﬂuence]	  the	  interacKon	  and	  discourse	  in	  ways	  that	  are	  detrimental	  to	  candidates’	  (Ross,	  1988)	  The	  role	  of	  listening	  in	  oral	  interview	  tests	  •  Seedhouse	  &	  Egbert	  (2006)	  –  InteracKonal	  problems	  can	  be	  caused	  by	  test-­‐takers’	  misunderstanding	  of	  what	  the	  examiner	  has	  said	  •  Nakatsuhara	  (2012)	  –  Candidates’	  listening	  test	  scores	  were	  compared	  on	  a	  monologue	  task	  and	  on	  an	  interview	  task	  •  Signiﬁcant	  eﬀect	  on	  Fluency	  scores	  •  Communica;on	  problems	  related	  to	  candidates’	  limited	  listening	  proﬁciency	  5	  Oral	  interview	  tests	  are	  to	  some	  extent	  tapping	  into	  	  the	  construct	  of	  listening-­‐into-­‐speaking	  	  i.e.	  interacBve	  listening	  skills	  Relevance	  of	  issues	  to	  Trinity	  GESE	  (Graded	  Examina;ons	  in	  Spoken	  English)	  exams	  •  The	  GESE	  exams	  aim	  to	  “replicate	  real-­‐life	  exchanges	  in	  which	  the	  candidate	  and	  the	  examiner	  pass	  on	  informaKon,	  share	  ideas	  and	  opinions,	  and	  debate	  topical	  issues”;	  to	  assess	  both	  listening	  and	  speaking	  skills	  through	  communicaKve	  interacKon	  (Trinity	  College	  London,	  2009).	  	  •  The	  tasks	  across	  the	  12	  GESE	  levels	  are	  designed	  to	  extend	  the	  demands	  placed	  upon	  the	  candidate	  as	  a	  listener.	  	  •  The	  GESE	  examiners	  have	  more	  freedom	  and	  discre;on	  than	  in	  some	  other	  tests	  in	  relaKon	  to	  how	  they	  intervene	  in	  the	  interacKons.	  	  –  They	  do	  not	  follow	  a	  strict	  interlocutor	  framework,	  but	  are	  instructed	  to	  produce	  a	  test	  plan	  for	  ‘natural	  interven;ons’	  that	  meet	  the	  language	  speciﬁca;ons	  of	  the	  grade	  	  6	  In	  order	  to	  understand	  the	  listening	  demands	  placed	  upon	  candidates,	  we	  need	  a	  greater	  knowledge	  of	  the	  linguisBc	  and	  pragmaBc	  content	  of	  the	  examiner	  intervenBons.	  More	  authen;c!	  	Research	  Ques;ons	  •  RQ1:	  What	  types	  of	  examiner	  intervenKon	  are	  employed	  in	  the	  GESE	  examinaKons	  in	  terms	  of	  their	  linguisKc	  and	  discourse	  features?	  •  RQ2:	  To	  what	  extent	  do	  examiner	  intervenKons	  diﬀer	  in	  relaKon	  to	  the	  proﬁciency	  level	  of	  the	  candidates?	  	  7	  l CRELLA  Research	  Design	  Method	  Transcrip;on	  and	  analysis	  of	  audio-­‐recordings	  obtained	  by	  Trinity	  for	  standardisa;on	  purposes	  	  •  20	  candidates	  at	  Grade	  A	  (AAA:	  DisKncKon)	  •  20	  candidates	  at	  Grade	  C	  	  (CCC:	  Pass)	  –  Candidates	  graded	  A	  and	  C	  examined	  by	  the	  same	  examiner:	  as	  similar	  as	  possible	  in	  terms	  of	  L1,	  age,	  perceived	  communicaKveness	  and	  gender	  –  Demographic	  info:	  as	  representaKve	  as	  possible	  of	  the	  current	  test-­‐taker	  populaKon	  si ng	  the	  GESE	  Grade	  7	  	  	  	  Interviewed	  by	  the	  	  same	  20	  examiners	  9	  Level	  and	  Tasks	  GESE	  Grade	  7:	  chosen	  as	  a	  representaKve	  intermediate	  level	  test	  (CEFR	  B2)	  with	  a	  large	  number	  of	  applicants	  	  Tasks	  	  	  	  	  	  	  	  	  	  Phase	   Time	  1	   Candidate-­‐led	  discussion	  of	  a	  topic	  prepared	  by	  the	  candidate	   5	  mins	  2	   InteracKve	  task	   4	  mins	  3	   ConversaKon	  on	  two	  subject	  areas	  selected	  by	  the	  examiner	   5	  mins	  10	  Data	  Analysis	  •  Stage	  1:	  IdenKfy	  turns	  that	  relate	  to	  examiner	  intervenKons	  and	  candidates’	  response	  to	  these	  intervenKons	  •  Stage	  2:	  Select	  contextual	  parameters	  in	  the	  spoken	  input	  and	  analyse	  the	  examiner	  intervenKons	  for:	  1)  Lexical	  complexity	  2)  Syntac;c	  complexity	  3)  Informa;onal	  density	  4)  Number	  and	  mean	  length	  of	  interven;ons	  5)  Speech	  rate	  (only	  for	  Phase	  2	  promp;ng	  interven;ons)	  6)  Purpose	  for	  interven;ons	  11	  Basis:	  Socio-­‐cogni;ve	  framework	  for	  valida;ng	  speaking	  tests	  (Weir,	  2005;	  further	  elaborated	  in	  Taylor,	  ed.	  2011)	  Measure(s)	  for	  the	  selected	  parameters	  12	  1)	  Lexical	  complexity:	  	  RaKo	  of	  the	  ﬁrst	  2000	  and	  oﬀ-­‐list	  words	  in	  the	  BNC	  2)	  Syntac;c	  complexity:	  Number	  of	  sub-­‐ordinate	  clauses	  per	  AS	  unit,	   	  	   	  	  	  	  	  	  	  	  	  	  	  	  	  	  Number	  of	  verb	  elements	  per	  AS	  unit	  3)	  Informa;onal	  density:	  Lexical	  density	  (content	  words	  /	  total	  words)	  4)	  Number	  and	  mean	  length	  of	  interven;ons:	  Number	  of	  intervenKons,	  Mean	  length	  of	  intervenKons,	  Number	  of	  words	  5)	  Speech	  rate:	  ArKculaKon	  rate,	  Number	  of	  pauses	  and	  total	  pause	  Kme	  6)	  Purpose	  for	  interven;ons:	  Language	  FuncKon	  list:	  O’Sullivan	  et	  al,	  2002	  Informa,onal	  (11	  sub-­‐categories),	  	  interac,onal	  (15	  sub-­‐categories)	  and	  	  Interac,onal	  management	  (4	  sub-­‐categories)	  purposes	  a. Types	  of	  interven,on	  across	  3	  phases	  (RQ1)	  b. Varia,on	  in	  interven,ons	  between	  examiners	  (RQ1)	  c.  Varia,on	  within	  examiners	  in	  rela,on	  to	  proﬁciency	  level	  (RQ2)	  	  13	  Focus	  of	  inves;ga;on	l CRELLA  Results	  a)	  Types	  of	  interven;on	  across	  3	  phases	  Lexical	  complexity,	  Informa,onal	  density	  •  Almost	  idenKcal	  across	  3	  phases	  Syntac,c	  complexity	  •  More	  complex	  in	  Phase	  3	  (ConversaKon),	  followed	  by	  Phase	  2	  (InteracKve)	  and	  Phase	  1	  (Topic)	  [Sig.]	  	  	  	  15	  a)	  Types	  of	  interven;on	  across	  3	  phases	  (cont.)	  Number	  and	  mean	  length	  •  Phase	  1	  (Topic):	  shorter	  intervenKons	  •  Phase	  2	  (InteracKve):	  less	  frequent	  but	  longer	  intervenKons	  •  Phase	  3	  (ConversaKon):	  more	  frequent	  and	  longer	  intervenKons	  	  16	  Phase	   N	  of	  interven;on	   N.	  Of	  words	  /	  interven;on	   N	  of	  words	  in	  total	  1	  (Topic)	   17.5	   9.5	   155.5	  2	  (Int.)	   16.5	   12.3	   209.0	  3	  (Conv.)	   19.5	   11.3	   221.0	  sig	  sig	   sig	  sig	  sig	  sig	  sig	  ü 	  Congruent	  with	  the	  test	  speciﬁca;ons	  -­‐Phase	  1:	  Examiner	  intervenKons	  mainly	  serve	  to	  facilitate	  the	  candidate-­‐led	  discussion	  of	  a	  topic	  prepared	  by	  the	  candidate	  -­‐Phase	  2:	  It	  is	  essenKally	  the	  candidate’s	  responsibility	  to	  iniKate	  and	  maintain	  the	  discourse,	  and	  examiners	  respond	  to	  the	  candidate’s	  quesKons	  	  -­‐Phase	  3:	  Examiners	  are	  required	  to	  take	  a	  lead	  in	  discussing	  two	  topics	  Purpose	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  Phase	  1	  (Topic)	  17	  Asking	  for	  info	  Asking	  for	  	  opinions	  Commen;ng	  Nego;a;ng	  meaning	  Purpose	  	  	  	  	  	  	  	  	  	  	  	  Phase	  2	  (Interac;ve)	  18	  Describing	  Expressing	  	  opinions	  Giving	  	  personal	  	  info	  Specula;ng	  Modifying/adding	  Purpose	  	  	  	  	  	  	  	  	  	  	  Phase	  3	  (Conversa;on)	  19	  Asking	  for	  info	  Asking	  for	  	  opinions	  Commen;ng	  Ini;a;ng	  changing	  Purpose	  	  20	  ü  The	  data	  conﬁrms	  that	  the	  test	  includes	  a	  wide	  range	  of	  types	  of	  intervenKon	  purpose	  	  	  	  	  	  	  	  à	  a	  variety	  of	  pragma;c	  func;ons	  that	  the	  listener	  has	  	  	  	  	  	  	  	  	  	  	  	  to	  interpret.	  b)	  Varia;on	  between	  examiners	  Lexical complexity, Informational density, Speech rate •  Little variation Syntactic complexity, Number and mean length, Purpose •  Some variation [Purpose]  Some interventions appeared to be somewhat more complex to interpret, due to ways in which some language functions were realised (Green, 2012 ‘Language Functions Revisited’).  e.g. Hypothesising (a lack of context prior to hypothesising)  E: if if you had children and they didn't want to go to school what would you say to them? 	  	  21	  c)	  Varia;on	  within	  examiners	  in	  rela;on	  to	  proﬁciency	  level	  	  Syntac,c	  complexity,	  Informa,onal	  density	  •  No	  diﬀerence	  Lexical	  complexity,	  Number	  and	  mean	  length,	  Speech	  rate	  	  •  IntervenKons	  tended	  to	  be	  a	  bit	  more	  lexically	  complex,	  more	  frequent	  and	  longer,	  with	  fewer	  pauses	  for	  Grade	  A	  students	  than	  for	  Grade	  C	  students	  [but	  NOT	  sig.].	  	  	  	  	  	   22	  Purpose	  •  Grade	  A	  students	  with	  more	  intervenKons	  for:	  	  –  Expressing	  opinions;	  	  –  SpeculaKng;	  	  –  Describing;	  	  –  Agreeing;	  	  –  CommenKng;	  	  –  NegoKaKng	  meaning	  (indicaKng	  understanding)	  	  •  Grade	  C	  students	  with	  more	  intervenKons	  for:	  	  –  Asking	  for	  informaKon;	  –  NegoKaKng	  meaning	  (correcKng	  an	  	  	  	  	  	  	  unerance	  made	  by	  the	  candidate);	  	  –  NegoKaKng	  meaning	  (responding	  to	  requests	  	  	  	  	  	  	  for	  clariﬁcaKon)	  23	  Examiner’s	  greater	  par;cipa;on	  in	  the	  interac;on	  Keeping	  the	  conversa;on	  going	  l CRELLA  Conclusions	  Main	  Finding	  1:	  Phases	  The	  experience	  and	  experKse	  of	  the	  GESE	  examiners	  assisted	  in	  diﬀerenKaKng	  intervenKons	  across	  the	  3	  phases	  of	  the	  test	  in	  terms	  of:	  	  –  syntacKc	  complexity	  –  number	  and	  mean	  length	  –  purpose	  	  in	  ways	  that	  are	  congruent	  with	  the	  GESE	  task	  speciﬁcaKons	  	  	  	  	  	  	  	  	  This	  validates	  the	  Trinity	  argument	  that	  the	  3	  phases	  of	  the	  test	  involve	  diﬀerent	  roles	  for	  the	  examiner,	  and	  engage	  the	  candidate	  listener	  to	  diﬀerent	  degrees.	  	  	  25	  Main	  Finding	  2:	  Examiner	  varia;on	  The	  data	  showed	  some	  variaKon	  between	  examiners	  in	  relaKon	  to:	  – syntacKc	  complexity	  – number	  and	  mean	  length	  – purpose	  But	  some	  characterisKcs	  of	  the	  intervenKons	  were	  consistent	  across	  administraKons:	  –  lexis	  	  –  informa;onal	  density	  26	  Some	  examiners	  showed	  sensiKvity	  to	  candidate	  level	  by	  adjusKng	  their	  intervenKons	  in	  terms	  of:	  -­‐  number	  and	  mean	  length	  	  -­‐  purpose	  for	  intervenKon	  	  -­‐  speech	  rate	  of	  Phase	  2	  prompts	  	  v 	  This	  suggests	  a	  recogniKon	  of	  the	  diﬀerent	  needs	  of	  candidates	  at	  Levels	  A	  and	  C	  during	  the	  interacKon.	  	  	  v 	  It	  also	  indicates	  an	  awareness	  of	  diﬀerences	  in	  candidates’	  listening	  levels,	  and	  willingness	  to	  adjust	  the	  listening	  demands	  of	  intervenKons	  to	  the	  perceived	  level	  of	  the	  candidate.	  	  	  	  	  	   27	  Main	  Finding	  3:	  Sensi;vity	  to	  level	  The	  issue	  of	  training	  and	  standardisa;on	  of	  interviewers	  Lazaraton	  (2002:	  151-­‐152)	  	  	  ‘Variability	  in	  behaviour	  is	  frequent	  …	  Using	  an	  interlocutor	  frame,	  monitoring	  interlocutor	  behaviour,	  and	  training	  examiners	  thoroughly	  are	  all	  ways	  to	  reduce,	  or	  at	  least	  control,	  this	  variability.	  	  It	  is	  unlikely,	  however,	  that	  it	  would	  be	  possible,	  or	  even	  desirable,	  to	  eradicate	  the	  behaviour	  enKrely,	  since	  ‘the	  examiner	  factor’	  is	  the	  most	  important	  characterisKc	  that	  disKnguishes	  face-­‐to-­‐face	  speaking	  tests	  from	  their	  tape-­‐mediated	  counterparts.	  	  Yet,	  we	  should	  be	  concerned	  if	  that	  factor	  decreases	  test	  reliability,	  even	  if	  it	  appears	  to	  increase	  the	  face	  validity	  of	  the	  assessment	  procedure.’	  	  	  28	  Trinity’s	  approaches	  to	  addressing	  this	  issue	  • 	  Monitoring:	  Making	  very	  construcKve	  use	  of	  audio	  recordings	  of	  live	  tests	  	  for	  the	  purpose	  of	  monitoring	  and	  standardisaKon	  of	  the	  examiners	  • 	  Research:	  Commissioning	  research	  to	  ﬁnd	  out	  how	  we	  can	  grade	  more	  ﬁnely	  the	  listening	  demands	  imposed	  upon	  candidates	  by	  examiner	  intervenKons	  without	  losing	  the	  ‘human’	  factor	  in	  the	  interacKon!	  	  l CRELLA  	  Fumiyo.Nakatsuhara@beds.ac.uk	  /	  fumeina@gmail.com	  	  John.Field@beds.ac.uk	  	  	  Centre	  for	  Research	  in	  English	  Language	  Learning	  and	  Assessment	  Thank you! J The	  9th	  Annual	  EALTA	  Conference	  31	  May	  -­‐	  3	  June	  2012	  Innsbruck,	  Austria	  

The impact on candidates of examiner interventions in oral interview tests

http://uobrep.openrepository.com/uobrep/bitstream/10547/623703/2/ealta-2012-website-version.pdf

The impact on candidates of examiner interventions in oral interview tests

Abstract

Similar works

Full text

Available Versions

University of Bedfordshire Repository