Nakatsuhara, Fumiyo

Nitta, Ryo

English

University of Bedfordshire Repository

Effects of pre-task planning time on paired oral test performance	 Fumiyo Nakatsuhara (University of Bedfordshire) Ryo Nitta (Nagoya Gakuin University) Language	  Tes*ng	  Forum	  2013	Research Background Eﬀects	  of	  Pre-­‐Task	  Planning	•  Learners	  can	  prepare	  for	  what	  to	  speak	  during	  planning	  *me	  à	  they	  can	  priori*se	  meaning	  while	  retaining	  focus	  on	  form	  on-­‐task.	  	  •  Planning	  *me	  helps	  to	  control	  the	  level	  of	  cogni*ve	  demand	  imposed	  by	  poten*ally	  unfamiliar	  topics	  à	  establishing	  a	  fair	  environment	  for	  test	  takers	  ?	Previous	  Studies	I.   Inconsistent	  results	  about	  pre-­‐task	  planning	  eﬀects	  between	  task-­‐based	  and	  test-­‐based	  research	  II.   A	  lack	  of	  pre-­‐task	  planning	  studies	  using	  dialogic	  tasks	  ?	I.	  Pre-­‐task	  planning	  in	  task-­‐based	  research	•  Pre-­‐task	  planning	  tends	  to	  be	  beneﬁcial	  in	  classroom	  or	  laboratory	  contexts.	  •  Eﬀects	  of	  pre-­‐task	  planning	  on	  ﬂuency	  •  Limited	  eﬀects	  of	  pre-­‐task	  planning	  on	  complexity	  and	  accuracy	  	?	Pre-­‐task	  planning	  in	  tes>ng	  research	•  Eﬀects	  of	  pre-­‐task	  planning	  are	  mixed	  and	  limited	  in	  tes*ng	  contexts	  – Some	  beneﬁts	  in	  Tavakoli	  &	  Skehan	  (2005);	  Wigglesworth	  (1997);	  Xi	  (2005).	  	  – Limited	  or	  no	  eﬀects	  in	  Elder	  &	  Iwashita	  (2005);	  Wigglesworth	  (2001);	  Wigglesworth	  &	  Elder	  (2010)	  	  ?	II.	  Monologic	  or	  dialogic	  tasks?	TBLT	  	  	  •  Mostly	  monologic	  tasks	  (e.g.,	  Crookes,	  1989,	  Ortega,	  1999,	  	  Mehnert,	  1998)	  •  Some	  studies	  using	  dialogic	  tasks	  (e.g.,	  Foster	  &	  Skehan,	  1996,	  1999)	  	  Tes>ng	  	  •  All	  monologic	  types	  of	  task	?	Measuring	  ‘Interac>onal	  Competence’	  in	  paired	  and	  group	  tests	•  Paired	  and	  group	  tests	  can	  elicit	  richer	  language	  func*ons	  and	  are	  suitable	  for	  assessing	  candidates’	  interac*onal	  competence.	  •  Popular	  use	  of	  dialogic	  tasks	  in	  standardised	  tests:	  	  	  	  	  	  	  	  	  e.g.	  Cambridge	  ESOL	  Main	  Suite	  Examina*ons,	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  University	  entrance	  examina*ons	  in	  China	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  and	  Hong	  Kong.	  à	  Need	  for	  examining	  the	  impact	  of	  pre-­‐task	  planning	  before	  dialogic	  tasks	  	  	   ?	Mul>faceted	  Approach	  	•  Tradi*onal	  summa*ve	  view:	  Linear	  rela*onship	  between	  planning	  and	  L2	  performance	  	  •  Leaners’	  performance	  may	  change	  during	  the	  performance?	  	  àNeed	  for	  process-­‐oriented	  approach,	  as	  well	  as	  summa*ve	  approach	  ?	Research	  Ques>ons	RQ1:	  Does	  pre-­‐task	  planning	  aﬀect	  test-­‐takers’	  	  	  	  	  	  	  	  	  	  	  	  performance	  in	  paired	  oral	  interac*ons	  as	  	  	  	  	  	  	  	  	  	  	  measured	  by	  ra*ng	  scores?	  	  RQ2:	  Does	  pre-­‐task	  planning	  aﬀect	  test-­‐takers’	  	  	  	  	  	  	  	  	  	  	  performance	  as	  measured	  by	  discourse	  	  	  	  	  	  	  	  	  	  	  	  analy*c	  measures?	  RQ3:	  How	  do	  test-­‐takers	  co-­‐construct	  paired	  	  	  	  	  	  	  	  	  	  	  oral	  performance	  under	  planned	  and	  	  	  	  	  	  	  	  	  	  	  unplanned	  condi*ons?	  	  ??	Research Methods Par>cipants	  •  32	  EFL	  learners	  at	  a	  Japanese	  university	  (16	  pairs)	  •  Proﬁciency:	  TOEFL	  PBT	  Mean=476,	  around	  B1	  (CEFR)	  •  Pairing:	  Test-­‐taker	  variables	  controlled	  (e.g.	  age,	  L1,	  educa*onal	  background,	  prof	  level,	  gender,	  acquaintanceship)	  	  ??	Planning	•  Planned:	  3	  minutes	  of	  pre-­‐task	  planning	  *me	  •  Unplanned:	  no	  planning	  *me	  	  Task	  •  Decision-­‐making	  tasks:	  Part	  3	  of	  the	  Cambridge	  FCE	  •  “Happiness	  Task”,	  “Café	  Task”,	  “Profession	  Task”	  and	  “Tourists	  Task”	  •  Two	  tasks	  in	  the	  same	  pair	  •  5	  minutes	  	  ??	??	1.	  Ra>ng	  •  Ra*ng	  scale	  (modiﬁed	  from	  Iwashita,	  Elder	  &	  McNamara,	  2001)	  •  Criteria:	  Fluency,	  Complexity,	  Accuracy	  (Level:	  0-­‐10)	  	  	  •  Two	  raters	  with	  1.5-­‐hour	  rater	  standardisa*on	  training	  ??	2.	  Discourse	  analy>c	  measures	  •  Fluency:	  	  – Speed:	  N	  of	  words	  /	  second	  – Breakdown:	  N	  of	  lexicalised,	  unlexicalised	  pauses	  /	  speaking	  *me	  – Repair:	  N	  of	  repe**ons,	  correc*ons	  /	  N	  of	  words	  •  Complexity:	  	  – Syntac*c:	  N	  of	  Clauses	  /	  AS-­‐unit	  – Lexical:	  Lexical	  diversity	  (MTLD)	  •  Accuracy:	  N	  of	  errors	  /	  100	  words	  •  Interac>on:	  N	  of	  words	  /	  turn	  ??	3.	  Conversa>on	  analysis	•  To	  interpret	  and	  elaborate	  on	  the	  ﬁndings	  of	  the	  sta*s*cal	  analysis	  of	  scores	  and	  discourse	  analy*c	  measures	  •  Global	  pamerns	  for	  paired	  interac*ons	  (Galaczi,	  2008)	  	  	  	  1.  Collabora*ve	  pamern	  2.  Parallel	  pamern	  	  3.  Asymmetric	  pamern	  	  ??	Results 1.  Score analysis  2.  Discourse measure analysis 3.  Conversation analysis FACET map  ??	strong weak harsh lenient difficult easy 2	3	4	5	(8) 6	(1)	1.	  Ra>ng	  Scores	  General	  trend:	  slightly	  higher	  scores	  	  under	  the	  planned	  condi*on	  Impact	  of	  planning	  on	  each	  ra>ng	  category	  Fluency	   Fair	  -­‐M	  Average	  Measure	  (diﬃculty)	  Inﬁt	  MnSq	  	  Fixed	  (all	  same)	  	  chi-­‐square:	  17.7	  Signiﬁcance:	  0.00	  Planned	   2.90	   -­‐0.70	   0.79	  Unplanned	   2.46	   0.70	   1.16	  ??	Complexity	   Fair	  -­‐M	  Average	  Measure	  (diﬃculty)	  Inﬁt	  MnSq	  	  Fixed	  (all	  same)	  	  chi-­‐square:	  5.8	  Signiﬁcance:	  0.02	  Planned	   2.46	   -­‐0.32	   0.79	  Unplanned	   2.28	   0.32	   	  1.09	  Accuracy	   Fair	  -­‐M	  Average	  Measure	  (diﬃculty)	  Inﬁt	  MnSq	  	  Fixed	  (all	  same)	  	  	  chi-­‐square:	  4.0	  Signiﬁcance:	  0.05	  Planned	   2.30	   -­‐0.31	   0.94	  Unplanned	   2.18	   0.31	   	  0.94	  Sig Non Sig Sig 2.	  Discourse	  analy>c	  measures	  Fluency	  •  Speed	  ﬂuency:	  quicker	  speech	  under	  the	  unplanned	  condi*on	  •  Breakdown	  ﬂuency:	  more	  breakdowns	  under	  the	  unplanned	  condi*on	  Accuracy	  &	  Lexical	  and	  Syntac>c	  Complexity	  •  No	  sig	  diﬀerence	  Interac>on	  •  Longer	  turns	  under	  the	  planned	  condi*on	  ??	Measures	   Planned	  Mean	  Unplanned	  Mean	  t	  Speed	  ﬂuency:	  N	  of	  words/second	   1.14	   1.34	   -­‐0.093	   0.000	  Breakdown	  ﬂuency:	  Length	  of	  pauses/second	  0.63	   0.72	   -­‐0.202	   0.000	  Interac>on:	  N	  of	  words/turn	   10.02	   7.97	   2.743	   0.010	  sig 3.	  Conversa>on	  analysis	a.	  Collabora*ve	  interac*on	  under	  the	  unplanned	  condi*on	  b.	  Parallel	  and	  asymmetric	  interac*on	  under	  the	  planned	  condi*on	  	  •  Typical	  interac*on	  -­‐	  Pair	  1	  (S01&S02):	  beginning,	  middle,	  end	  	??	Unplanned:	  Frequent	  short	  turn	  exchanges	  	  at	  beginning	Excerpt	  (1)	  Task:	  Happiness	  1	  	  	  	  	  	  S02:	  What	  is::	  important	  thing,	  do	  you	  think?	  2	  	  	  	  	  	  S01:	  I	  think	  (1.0)	  this	  one	  ((poin*ng	  out	  the	  photo)),	  talking	  with	  friends	  is	  3	  	  	  	  	  	  S02:	  Uh	  4  S01:	  the	  most	  important	  (1.0)	  to	  be	  happiness,	  I	  think	  5  S02:	  OK.	  Why	  do	  you	  think	  so?	  	   	  	  	  ??	Short	  turns.	  Frequent	  turn	  exchanges.	  Frequent	  pauses.	??	Unplanned:	  Gradual	  co-­‐construc*on	  	  in	  middle	Excerpt	  (2)	  Task:	  Happiness	  1	  	  	  	  	  	  S01:	  Uh	  I	  think	  house	  is	  not	  impo(h)rtant	  for	  me.	  2	  	  	  	  	  	  S02:	  Oh	  really?	  3	  	  	  	  	  	  S01:	  Yes	  4	  	  	  	  	  	  S02:	  Why	  do	  you	  think	  so?	  5  S01:	  Because	  (.)	  now	  ah	  I	  live	  in	  really	  (.)	  poor	  hou(h)se	  huh	  huh	  but	  I	  feel	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  much	  happiness	  happy,	  	  6	  	  	  	  	  S02:	  uh	  7	  	  	  	  	  S01:	  so	  I	  think	  this	  is	  not	  important	  for	  me.	  8	  	  	  	  	  S02:	  Yeah,	  I	  didn’t	  also	  comment	  uh::	  (1.0)	  if	  we	  don’t	  have	  good	  house,	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  uh:	  maybe	  ok,	  because	  if	  we	  have	  good	  friends	  9	  	  	  	  	  S01:	  Yes	  yes	  that’s	  right.	  	   	  	  	  	Short	  turns.	  Fast	  speech.	Unplanned:	  Further	  collabora*on	  at	  end	Excerpt	  (3)	  Task:	  Happiness	  1	  	  	  	  	  	  S01:	  I	  think	  (4.0)	  va-­‐	  vaca*on	  is	  good	  for	  me	  [because	  (1.0)	  2  S02:	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  [Uh	  	  	  	  	  	  	  	  	  	  	  	  	  uh	  3  S01:	  It’s	  it’s	  really	  fu(h)n	  and	  I	  can	  get	  good	  experience	  and	  (2.0)	  uh	  4	  	  	  	  	  	  S02:	  Uh	  that’s	  right.	  I	  think	  that	  vaca*on	  connected	  to:	  this	  picture=	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  ((showing	  the	  picture	  of	  friends	  to	  S01))	  5	  	  	  	  	  S01:	  =A[h	  yes.	  6  S02:	  	  	  	  	  [because	  if	  we	  have	  friend,	  we	  can	  go:	  (1.0)	  uh	  this	  this	  place,	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  ah	  (.5)	  a:s	  sightseeing	  with	  friends	  7  S01:	  Uh	  8  S02:	  So	  I	  think	  uh::	  friends	  is	  very	  very	  important	  thing,	  the	  best	  thing	  9  S01:	  <I	  ((nodding))	  totally	  agree	  with	  you.>	  uh	  but	  if	  you	  (.)	  we	  want	  to	  go	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  to	  sta-­‐	  ah	  vaca*on,	  we:	  need	  money,	  	  	??	Animated,	  collabora*ve	  interac*on.	Planned:	  Produc*ve	  start	Excerpt	  (4)	  Task:	  Profession	  1  S01:	  Which	  jobs	  (1.0)	  is	  the	  most	  diﬃcult?	  2	  	  	  	  	  	  S02:	  Uh::	  most	  diﬃcult	  uh::	  I	  think	  all	  picture:	  have	  of	  course	  uh::	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  diﬃcul*es	  yeah,	  but	  the	  most	  diﬃcult	  (.)	  job	  for	  me	  (.5)	  is	  %I	  think%	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  this	  picture	  (1.0)	  ((poin*ng	  at	  the	  painter	  picture))	  is	  so	  diﬃcult	  (.5)	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  to	  get	  to	  the	  top.	  3  S01:	  Why	  do	  you	  think	  so?	  4	  	  	  	  	  	  S02:	  Ah	  .hh	  (.5)	  I	  think	  uh	  (4.0)	  the	  ﬁrst	  is	  uh:	  (.5)	  many	  people	  can	  buy	  this	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  picture	  or	  not,	  this	  is	  the	  uh	  (.5)	  the	  most	  diﬃcult	  thing.	  (1.0)	  Maybe	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  before	  before	  the	  person	  buy	  the	  picture,	  this	  person	  is	  so	  poor.	  5  S01:	  Uh[:	  6  S02:	  	  	  	  	  	  [Uh	  So	  this	  is	  so	  diﬃcult	  job.	  How	  about	  you?	  	  	  	??	Presen*ng	  individually	  what	  they	  prepared.	  Long	  turns.	  Slow	  speech.	  Parallel	  interac*on.	Planned:	  Stagnant	  middle	Excerpt	  (5)	  Task:	  Profession	  1	  	  	  	  	  S02:	  Then	  how	  about	  business	  man?	  2	  	  	  	  	  S01:	  Business	  man	  3	  	  	  	  (2.5)	  4	  	  	  	  S02:	  Compared	  to	  the	  other	  pictures,	  this	  is	  not	  diﬃcult	  to	  get	  to	  the	  top.	  5	  	  	  	  (.5)	  6	  	  	  	  S01:	  Uh	  	  7	  	  	  	  (1.5)	  8	  	  	  	  S01:	  If	  you	  wan-­‐	  if	  you	  want	  to	  be:	  (.5)	  business	  man,	  do	  you	  need	  talent?	  9	  	  	  	  S02:	  uh	  10	  	  (.5)	  11	  	  S02:	  Uh::	  (.5)	  we	  need	  eﬀort	??	Running	  out	  of	  ideas.	Planned:	  Asymmetrical	  end		  Excerpt	  (6)	  Task:	  Profession	  1  S02:	  Ah	  I	  also	  (1.5)	  doctor	  is	  (.5)	  not	  diﬃcult	  to	  get	  to	  the	  top,	  because	  (.5)	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  there	  are	  a	  lot	  of	  sick	  people.	  If	  there	  are	  many	  sick	  people,	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  they	  ca(h)n	  wo(h)rk.	  2  S01:	  Ye(h)s	  they	  (2.0)	  need	  (.)	  need	  money,	  I	  thi(h)nk	  and	  intelligence	  3  S02:	  ah	  ah	  and	  we	  oven	  need	  doctor	  (1.0)	  we	  need	  sports	  player	  because	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  many	  people	  like	  sports,	  and	  we	  need	  singer.	  We	  oven	  listen	  to	  the	  music	  4  S01:	  Uh	  huh	  5  S02:	  but	  this	  picture,	  some	  people	  need	  picture,	  6  S01:	  Uh	  7	  	  	  	  	  S02:	  but	  in	  my	  opinion,	  we	  don’t	  need	  picture.	  (.5)	  yeah	  so	  this	  is	  so	  diﬃcult	  to	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  get	  to	  the	  top	  ??	S02:	  dominant	  –	  S01:	  passive:	  limited	  collabora*on	  in	  topic	  development	Conclusion Main	  Findings	•  Score	  analysis:	  Planning	  slightly	  upgraded	  speech	  in	  terms	  of	  ﬂuency	  and	  complexity	  	  •  Discourse	  measure	  analysis:	  Planning	  improved	  breakdown	  ﬂuency	  and	  turn	  length,	  but	  was	  detrimental	  to	  speed	  ﬂuency	  •  Conversa>on	  analysis:	  	  [Unplanned]	  shorter	  turns,	  quicker	  turn	  exchanges	  à	  developing	  interac*on	  collabora*vely	  	  [Planned]	  longer	  turns,	  parallel	  interac*on	  à	  falling	  into	  a	  stagnant	  period	  à	  asymmetric	  interac*on	  	  ??	Mul>faceted	  approachà	  Complex	  rela>onship	  	  between	  pre-­‐task	  planning	  and	  performance	  •  Planning	  condi*ons	  aﬀect	  the	  mode	  of	  discourse	  in	  paired	  tests	  –  Unplanned:	  	  dialogues	  (i.e.	  collabora*vely	  approaching	  the	  task,	  incorpora*ng	  partners’	  ideas	  into	  their	  own	  speech)	  –  Planned:	  a	  series	  of	  monologues	  (i.e.	  concentra*ng	  on	  delivering	  what	  they	  prepared)	  ??	Planning	  func*ons	  against	  tapping	  into	  the	  construct	  that	  paired	  tests	  should	  actually	  be	  measuring	  à	  planning	  might	  deprive	  candidates	  of	  the	  chance	  to	  demonstrate	  their	  abili>es	  to	  interact	  collabora>vely.	  Implemen>ng	  pre-­‐task	  planning	  prior	  to	  paired	  tests	  is	  	  NOT	  advisable.	  Thank you!	 Nitta, R. and Nakatsuhara, F. (in press)  ‘A multifaceted approach to investigating pre-task planning effects on paired oral test performance’ Language Testing.   This	  project	  is	  sponsored	  by	  Japan	  Society	  for	  the	  Promo*on	  of	  Science.	

Effects of pre-task planning time on paired oral test performance

http://uobrep.openrepository.com/uobrep/bitstream/10547/623692/3/nakatsuhara-ltf2013.pdf

Effects of pre-task planning time on paired oral test performance

Abstract

Similar works

Full text

Available Versions

University of Bedfordshire Repository