2012 S.C. Water Resources Conference - Exploring Opportunities for Collaborative Water Research, Policy and Managemen

Eidson, Gene

Esswein, Sam

Hallstrom, Jason

Njuguna, Jesse

Sampath, Aravindh

Sharp, Julia L

English

Clemson University: TigerPrints

Sliding	  Window	  Approach	  	  	  	  	  	  	  	  •  Consider	  the	  ith	  observa/on	  within	  a	  data	  stream	  and	  a	  window	  size	  of	  five	  observa/ons	  (Figure	  1).	  The	  four	  previous	  observa/ons	  as	  well	  as	  the	  ith	  observa/on	  are	  used	  to	  compute	  the	  cusum	  and	  assess	  the	  state	  of	  control	  for	  the	  ith	  observa/on.	  	  Sliding	  Window	  Tabular	  Cusum	  Func8on	  •  The	  sliding	  window	  tabular	  cusum	  func/on	  takes	  as	  its	  arguments	  a	  dataset,	  and	  the	  mean	  of	  the	  previous	  window	  of	  observa/ons	  (​​" ↓%−1 )	  to	  represent	  the	  target	  value	  for	  the	  tabular	  cusum	  computa/on	  of	  the	  current	  window	  of	  observa/ons.	  	  •  To	  detect	  small	  shiBs,	  the	  func/on	  uses	  a	  magnitude	  shiB	  of	  1	  unit.	  	  •  The	  decision	  interval,	  	  &,	  is	  five	  /mes	  the	  standard	  devia/on	  	  of	  the	  current	  window	  of	  observa/ons.	  	  	  •  The	  func8on	  computes	   ​  '↑+   and	  ​'↑− 	  of	  the	  current	  window	  of	  observa8ons	  and	  if	  either	  sta8s8c	  exceeds	  the	  decision	  interval	  (±5σ),	  the	  observa8on	  is	  considered	  to	  be	  in	  an	  “out-­‐of-­‐control	  “	  state.	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  Discussion	  and	  Conclusions	  •  It	  is	  observed	  that	  extreme	  observa/ons	  in	  the	  current	  and	  previous	  window	  of	  observa/ons	  cause	  shiBs	  in	  the	  cusum	  value,	  depending	  on	  the	  window	  size.	  •  Rela8ve	  to	  the	  size	  of	  the	  shiJ	  to	  monitor,	  a	  quality	  control	  procedure	  with	  a	  larger	  window	  size	  has	  higher	  sensi8vity	  to	  detect	  shiJs	  as	  demonstrated	  by	  magnitude	  of	  the	  decision	  interval.	  	  However,	  these	  shiJs	  may	  not	  be	  of	  prac8cal	  importance.	  •  The	  cusum	  control	  chart	  based	  on	  a	  sliding	  window	  illustrates	  how	  sta/s/cal	  control	  charts	  can	  be	  used	  to	  detect	  shiBs	  in	  a	  streaming	  data	  environment	  such	  as	  from	  the	  data	  collec/on	  in	  the	  Intelligent	  River®.	  •  Future	  work	  includes	  using	  an	  exponen/ally	  weighted	  moving	  average	  (EWMA)	  control	  chart	  to	  detect	  truly	  extreme	  observa/ons	  in	  a	  streaming	  environment.	  Data	  Quality	  Assessment	  Using	  a	  Sliding	  Window	  Cumula/ve	  Sum	  Control	  Chart	  Jesse	  Njuguna1,	  Julia	  L.	  Sharp2,	  Sam	  Esswein2,	  Aravindh	  Sampath2,	  Jason	  Hallstrom2,	  Gene	  Eidson2	  	  1Washington	  State	  University,	  2Clemson	  University	  	  Abstract	  When	  assessing	  the	  quality	  of	  streaming	  data,	  as	  is	  the	  case	  for	  the	  Intelligent	  River®,	  a	  landscape-­‐scale	  observa/on	  instrument	  covering	  a	  large	  geographic	  area,	  challenges	  arise.	  	  Sta/s/cal	  process	  control	  procedures	  aid	  in	  monitoring	  and	  analyzing	  variability	  in	  process	  performance	  and	  allow	  for	  the	  iden/fica/on	  of	  extreme	  observa/ons.	  	  Tradi/onal	  quality	  control	  charts	  are	  limi/ng	  because	  of	  the	  quan/ty	  of	  data	  across	  /me	  and	  from	  many	  sensors	  in	  a	  streaming	  environmental	  data	  collec/on	  domain.	  	  	  	  We	  suggest	  the	  use	  of	  a	  sliding-­‐window	  cumula/ve	  sum	  (cusum)	  quality	  control	  chart.	  	  In	  the	  sliding-­‐window	  approach,	  data	  (e.g.,	  turbidity	  measurements	  from	  a	  single	  sensor)	  in	  a	  fixed	  window	  of	  number	  of	  observa/ons	  is	  used	  to	  compute	  unique	  sta/s/cal	  control	  limits	  for	  analyzing	  the	  quality	  of	  observa/ons	  moving	  through	  /me.	  	  Our	  results	  show	  that	  the	  sliding-­‐window	  approach	  may	  detect	  shiBs	  and	  outlying	  observa/ons;	  however,	  other	  techniques	  like	  the	  cusum	  control	  chart	  using	  a	  trimmed	  mean	  or	  the	  Exponen/ally	  Weighted	  Moving	  Average	  (EWMA)	  control	  chart	  may	  be	  more	  appropriate	  for	  iden/fying	  “out-­‐of-­‐control”	  observa/ons.	  	  	  	  	  What	  is	  a	  Cusum	  Control	  Chart?	  Cusum	  chart,	  an	  acronym	  for	  the	  Cumula/ve	  Sum	  control	  chart	  is	  a	  sta/s/cal	  method	  that	  is	  used	  to	  monitor	  data	  varia/on	  during	  quality	  control	  processes.	  	  Tabular	  	  Cusum	  •  The	  tabular	  cusum	  works	  by	  accumula/ng	  devia/ons	  from	   ​)↓0 ,	  the	  target	  value	  for	  the	  quality	  characteris/c	  of	  an	  individual	  observa/on	  (Montgomery,	  2012).	  	  •  Devia8ons	  from	  the	  target	  value	  are	  accumulated	  using	  the	  sta8s8c	  ​'↑+ 	  (upper	  cusum)	  if	  the	  value	  is	  above	  target	  or	  sta8s8c	  ​'↑− 	  (lower	  cusum)	  for	  those	  below	  target.	  The	  sta8s8cs	  ​'↑+   and	  ​'↑−   are	  computed	  as	  follows:	  ​'↓*↑+ =()*  [,,   ​    +↓* −(​-↓, +.)  + ​'↓*−-↑+ ]	  ​'↓*↑− =()*[,,   ​    (​-↓, −.)−+↓* +   ​'↓*−-↑− ]	  	  	  	  	  	  	  with	  star8ng	  values	   ​'↓,↑+ 	  =	  	   ​'↓,↑− 	  =	  0.	  	  • 0,	  the	  reference	  value,	  is	  chosen	  approximately	  halfway	  between	  the	  target	  value	  and	  the	  “out-­‐of-­‐control”	  value,	  which	  is	  determined	  by	  the	  size	  of	  the	  shiB	  (δ)	  to	  be	  detected	  as	  well	  as	  the	  standard	  devia/on	  (σ).	  	  0	  is	  computed	  as	  	  	   	  0=   ​1/2 3= ​|​)↓1 − ​)↓0 |/2 	  .	  Acknowledgement	  This	  work	  was	  supported	  by	  grants	  from	  the	  Na/onal	  Science	  Founda/on	  (CNS-­‐1126344),	  Na/onal	  Park	  Service	  –	  Great	  Smoky	  Mountains	  Na/onal	  Park	  Grant	  #2097821,	  and	  the	  City	  of	  Aiken,	  SC.	  References	  Montgomery,	  Douglas	  C.	  Introduc,on	  to	  Sta,s,cal	  Quality	  Control.	  Wiley,	  2012.	  Figure	  1:	  	  Illustra,on	  of	  the	  sliding	  window	  approach.	  Figure	  2:	  Turbidity	  sample	  cusum	  control	  chart	  with	  a	  window	  size	  of	  10	  observa,ons.	  	  Note:	  Control	  limits	  and/or	  cusum	  values	  for	  some	  observa,ons	  exceed	  the	  dimensions	  of	  the	  figure	  and	  are	  not	  ploHed.	  	  Note	  that	  observa,ons	  that	  do	  not	  appear	  to	  be	  out-­‐of-­‐control	  are	  flagged	  as	  such	  due	  to	  the	  varia,on	  in	  the	  window	  of	  observa,ons.	  Figure	  3:	  Turbidity	  sample	  cusum	  control	  chart	  with	  a	  window	  size	  of	  5	  observa,ons.	  No	  observa,ons	  are	  flagged	  as	  “out-­‐of-­‐control”.	  

Data Quality Assessment Using a Sliding Window Cumulative Sum Control Chart

https://tigerprints.clemson.edu/cgi/viewcontent.cgi?article=1342&context=scwrc

Data Quality Assessment Using a Sliding Window Cumulative Sum Control Chart

Abstract

Similar works

Full text

Available Versions

Clemson University: TigerPrints