El objetivo de la investigación fue estudiar si la evaluación de la efectividad de un tratamiento mediante inspección visual dependía del tipo de representación gráfica. Se estudiaron 3 sujetos a los que se les presentó 3.000 gráficos (1.000 de líneas, 1.000 de barras y 1.000 de caja), representando cada uno de ellos los resultados de un diseño A-B. Los resultados indicaron que los sujetos cometieron mayor número de errores cuando los datos se presentaban mediante líneas o barras.The objective of this research was to see if the evaluation of the effectiveness of a given treatment through visual inspection depends on the type of graphs used. Three subjects were studied with 3000 graphs (1.000 line, 1.000 bar and 1.000 box-plots), each one representing the results of an A-B design. The results indicate that the subjects committed more errors when the data was presented by lines or bars instead of box-plots.Ministerio de Educación y Ciencia PB93-117

Jurado Muriel, Trinidad

López Domínguez, M.L.

Morales Ortiz, Manuel

idUS. Depósito de Investigación Universidad de Sevilla

D u rante mu cho tiempo las técnicas gr á ficas han sido la pri n-cipal fo rma de evaluar la efe c t ividad del tratamiento en el áre ade la modificación de conducta (Pa rsonson y Baer, 1986). Sine m b a rgo, va rios autores (Mat yas y Gre e n wo o d, 1990), hanpuesto de manifiesto la inconsistencia existente entre las infe-rencias estadísticas y las derivadas de la inspección visual. Se hae n c o n t rado que esta incosistencia depende de las cara c t e r í s t i c a sestadísticas existentes en los datos (Jones, We i n rott y Va u g h t ,1978; Knapp, 1983, etc.), y del entrenamiento de los sujetos( Wampold y Furl o n g, 1981). Sin embargo, pocos trabajos hanevaluado si la infe rencia visual depende del tipo de técnica gr á-fi c a .Por tanto, el objetivo del presente trabajo es estudiar si laevaluación de la efe c t ividad de un tratamiento mediante la ins-pección visual depende de la técnica gr á fica utilizada. En con-c reto, nu e s t ra hipótesis considera que los erro res serán meno-res con el gr á fico de caja que con el gr á fico de líneas o el deb a rras. MétodoSujetosR e a l i z a ron el ex p e rimento 3 pro fe s o res que impartían laa s i g n at u ra de Análisis de datos en el dep a rtamento de Psicolo-gía Experimental de la Unive rsidad de Sevilla. Estos sujetos noh abían participado en ningún estudio previo sobre perc ep c i ó ngr á fica. Material Se construyeron 3.000 gráficos de (1.000 de caja, 1.000 de lí-neas y 1.000 de barras), representando puntuaciones procedentesde un diseño de replicación intrasujeto A-B. La estructura de losdatos fue siempre la misma:Y = B + D + S + Edonde Y es el valor de la conducta en un determinado momentotemporal; B es el nivel previo a la intervención (B= 40); D es elefecto de la intervención definido como la diferencia entre las me-dias (D = 5); S es la varianza existente en los datos (S lbo= St = 64,y E es una variable aleatoria normalmente dstribuida, N(0,1). Losdatos de cada gráfico se obtuvieron utilizando las rutinas para ge-neración de variables aleatorias N(0,1) del paquete estadísticoSPSS, v. 6. Estas variables fueron transformadas en otras con losvalores de tendencia central y de dispersión que previamente sehan indicado. Aproximadamente, la mitad de los gráficos refleja-ban un efecto de la intervención pequeño, pero estadísticamentesignificativo (D = 5), y la otra mitad no (D = 0). Los gráficos de lí-neas y de barras se construyeron mediante el programa HarvardGraphics v. 3, y los de caja mediante el programa SPSS, v. 5. Unordenador PC compatible presentó en blanco sobre fondo negrocada uno de los gráficos y r egistró las respuestas de los sujetos. Procedimiento Se utilizó un diseño factorial 3x2 intrasujeto (gráfico x trata-miento). Se presentaron tres tipos de gráficos (box-plot, barras ylíneas) y dos tipos de tratamientos (efectivos y no efectivos). Cadasujeto se sentó frente al ordenador, indicándosele que el objetivodel estudio era evaluar la efectividad de cada tratamiento cuyos re-sultados aparecían representados gráficamente con distinto forma-to. Mientras veían los 6 gráficos de prueba de cada tipo se les ins-Diseños de respuesta múltiple: aplicación de la teoría de la detecciónde señales al análisis de la inferencia visual de series de tiempoManuel Morales Ortiz, M. L. Domínguez y T. JuradoUniversidad de SevillaEl objetivo de la investigación fue estudiar si la evaluación de la efectividad de un tratamiento medianteinspección visual dependía del tipo de representación gráfica. Se estudiaron 3 sujetos a los que se lespresentó 3.000 gráficos (1.000 de líneas, 1.000 de barras y 1.000 de caja), representando cada uno deellos los resultados de un diseño A-B. Los resultados indicaron que los sujetos cometieron mayor nú-mero de errores cuando los datos se presentaban mediante líneas o barras. Visual inspection and type of graphs used. The objective of this research was to see if the evaluationof the effectiveness of a given treatment through visual inspection depends on the type of graphs used.Three subjects were studied with 3000 graphs (1.000 line, 1.000 bar and 1.000 box-plots), each one re-presenting the results of an A-B design. The results indicate that the subjects committed more errorswhen the data was presented by lines or bars instead of box-plots.Correspondencia: Manuel Morales OrtizFacultad de PsicologíaUniversidad de Sevilla41005 Sevilla (Spain)E-mail: morales@psicoexp.us.esPsicothema ISSN 0214 - 9915 CODEN PSOTEG2000. Vol. 12, Supl. nº 2, pp. 396-398 Copyright © 2000 PsicothemaDISEÑOS DE RESPUESTA MÚLTIPLE: APLICACIÓN DE LA TEORÍA DE LA DETECCIÓN DE SEÑALES 397truía sobre las teclas que tenían que utilizar para responder y se lesexplicaba que siempre aparecerían dos conjuntos de datos. Uno deellos correspondiente a la fase de no intervención (línea base), yotro correspondiente a la intervención (tratamiento). A todos ellosse les indicó que trataran de responder lo más rápido que pudieran,pero sin perder seguridad en sus respuestas.Los sujetos respondieron a todos los gráficos en varias sesio-nes. En cada sesión respondían a un total de 100 gráficos, descan -sando 5 minutos cuando habían evaluado 50 gráficos. En total, laprueba nunca duró más de una hora. En cada ensayo se presenta-ban durante 5 segundos un gráfico y a continuación aparecía unapantalla en la que se le pedía al sujeto que indicara su respuesta en-tre cuatro alternativas: 1= seguro no efectivo; 2 = probablementeno efectivo; 3 = probablemente efectivo, y 4 = seguro efectivo. Es-ta pantalla no desaparecía hasta que el sujeto no pulsaba la teclacorrespondiente a una de las 4 opciones. En cada sesión sólo sepresentó el mismo tipo de gráficos (barras, líneas o box-plots). Elorden de presentación de los estímulos dentro de cada sesión fuealeatorio y el orden entre las sesiones fue contrabalanceado me -diante cuadrado latino. ResultadosLos resultados correspondientes a cada uno de los sujetos fue-ron analizados independientemente mediante modelos logit utili-zando el programa GLIM, v.4 (Francis, B; Green, M. Payne, C.,1994). Para cada uno de ellos, se construyó una tabla de contigen-cia A x B x C donde A = tipo de gráfico (A1= box-plot, A2= ba-rras y A3= líneas), B= tipo de intervención (B1= efectiva , B2= noefectiva), y C= tipo de respuesta (C1= seguro no efectivo, C2=probablemente no efectivo, C3= probablemente efectivo, y C4=seguro efectivo). Para la interpretación de los resultados se calcu-ló la odds-ratio correspondiente al parámetro significativo. Así, enel caso de que fuera significativo el parámetro A(2)B(2)C(4), secalculó la razón entre la frecuencia de la respuestas tipo C4 y lafrecuencia de respuestas C1 (C4/C1) tanto en el caso de los estí-mulos efectivos como en el de los no efectivos. A continuación, secompararon dichas razones siendo siempre el denominador la ra-zón entre las respuestas comparadas correspondiente a los estímu-los no efectivos. Siempre se compararon las respuestas C4, C3 yC2 con la C1.Podemos considerar que la odds-ratio es un indicador de la eje-cución global del sujeto en un determinado tipo de gráfico, ya queinteresa que se detecten tanto los estímulos efectivos como los noefectivos. Mientras mayor sea la odds-ratio, mayor diferencia ha-brá entre la razón de las respuestas correspondientes a los estímu-los efectivos y la de los no efectivos. Es decir, esto indica un ma-yor número de respuestas (C4, C3 o C2) frente a respuestas C1 enel caso de los estímulos efectivos y un menor número de respues-tas (C4, C3 o C2) frente a respuestas C1 en el caso de los estímu-los no efectivos. Por tanto, podemos considerar que mientras ma-yor sea el valor de la odds-ratio, menor será el número de errorescometido1.Sujeto 1El análisis logit indicó que el modelo saturado era el único quese ajustaba. El modelo que sólamente incluyó asociaciones entredos variables [AB, AC, BC] no presentó un ajuste adecuado (sca-led deviance= 62.128; residual df= 6; P(χ2, 6) ≥ 62.168) < .05). Seencontró que la odds-ratio entre las respuestas «seguro efectivo» y«seguro no efectivo» (C4/C1) fue mayor en el box-plot (69.8) queen el gráfico de líneas (5.9) y que en el de barras (6.5), (paráme-tros A(3)B(2)C(4), z= 6.47 y A(2)B(2)C(4), z= 6.21). En relacióncon los estímulos efectivos las razones C4/C1 fueron 21.64 para elgráfico de caja, 1.18 para el gráfico de líneas y 1.17 para el gráfi-co de barras. En los estímulos no efectivos no hubo grandes dife-rencias entre las razones (0.31 para el box-plot, 0.18 para el gráfi-co de barras y 0.2 para el gráfico de líneas). También resultaron sersignificativos los parámetros A(3)B(2)C(3), z= 4.29 y A(2)B(2)C(3), z= 3.61). La odds-ratio entre las respuestas «probablementeefectivo» y «seguro no efectivo» (C3/C1) fue mayor en el gráficode caja (14.64) que en los otros gráficos (3.2 para el gráfico de lí-neas y 4.09 para el gráfico de barras). Las razones C3/C1 en losestímulos efectivos fueron muy diferentes entre el gráfico de caja(8.93) y los otros tipos de gráficos presentados (1.47 para el el grá-fico de líneas y 1.76 para el gráfico de barras). En relación con losestímulos no efectivos las razones fueron muy parecidas entre lostres tipos de gráficos (0.61 para el box-plot, 0.43 para el gráfico debarras y 0.46 para el gráfico de líneas) . Finalmente, la odds-ratioentre las categorías de «probablemente no efectivo» y «seguro noefectivo» (C2/C1) también resultó ser significativa (parámetroA(3)B(2)C(2), z= 4.56 y parámetro A(2)B(2)C(2), z= 4.01). En elbox-plot fue 8.85, en el gráfico de líneas fue 1.67 y la del gráficode barras fue 2.02. En relación con los estímulos efectivos, la ra-zón C2/C1 fue 4.07 para el box-plot, 1.58 para el gráfico de barrasy 1.42 para el gráfico de líneas. En relación con los estímulos noefectivos no hubo grandes diferencias, aunque algo mayores parael gráfico de barras y el de líneas (0.46 para el box-plot, 0.78 parael gráfico de barras y 0.85 para el gráfico de líneas). Sujeto 2El análisis logit indicó que el modelo sat u rado era el único quese ajustaba, ya que el modelo que sólamente incluyó asociacionese n t re dos va ri ables [AB, AC, BC] no presentó un ajuste adecuado(scaled deviance= 20.08; residual df= 6; P(χ2, 6) ≥ 20.08) < .01).Se encontró que los parámetros A(3)B(2)C(4) y A(2)B(2)C(4) fue-ron signifi c at ivos (z= 2.34 y z= 3.22 re s p e c t ivamente). La odd s - ra-tio fue mu cho más grande en el box-plot (200) que en el gr á fico delíneas (52.7) o que en el gr á fico de barras (38.59). La razón entre« s eg u ro efe c t ivo» y «seg u ro no efe c t ivo» (C4/C1) fue considera-blemente mayor en el box-plot (22) que en los otros gr á ficos (3.69p a ra líneas y 11.19 para barras), cuando los estímulos rep re s e n t a-ron tratamientos efe c t ivos. Sin embargo, en los tratamientos ine-fe c t ivos las ra zones fueron 0.11 para los gr á ficos de caja, 0.29 pa-ra los de barras y 0.07 para los de líneas. Asimismo, el parámetroA(3)B(2)C(3) también resultó ser signifi c at ivo (z= 2.71). La odd s -ratio fue 33.5 para el gr á fico de caja y 11.2 para el gr á fico de líne-as. La razón entre «pro b ablemente efe c t ivo» y «seg u ro no efe c t ivo »(C3/C1) fue también mayor en el gr á fico de caja (18.09) que en elgr á fico de líneas (7.84) en los estímulos que re fl e j a ron trat a m i e n t o se fe c t ivos. Fi n a l m e n t e, la razón entre las respuestas anteri o re s(C3/C1) fue mayor en el gr á fico de líneas (0.7) que en el box - p l o t(0.54), cuando los tratamientos fueron inefe c t ivos. Sujeto 3El modelo saturado fue el único que se ajustó, ya que el mode-lo que sólo incluía todas las asociaciones entre dos variables pre-sentó grandes discrepancias entre las frecuencias observadas y lasesperadas (scaled deviance = 19.694; residual df = 6; P(χ2, 6) ≥19.694) = .003). Se encontró que el parámetro A(2)B(2)C(4) fuesignificativo (z = 3.12). La odds-ratio fue mayor en el box-plot(67.75) que en el gráfico de barras (21.14). Sin embargo, la pro-porción de respuestas entre «seguro efectivo» y «seguro no efecti-vo» (C4/C1) fue mayor en el gráfico de barras (10.78) que en elbox-plot (2.71) en los estímulos con tratamientos efectivos. Asi-mismo, cuando se presentaron tratamientos inefectivos, la propor-ción C4/C1 fue también mayor para el gráfico de barras (0.51) quepara el gráfico de caja (0.04). También se encontró significativo elparámetro A(2)B(2)C(2), (z = 2.02). La odds-ratio fue mayor parael gráfico de caja (5.8) que para el gráfico de barras (3). Asimis-mo, la proporción de respuestas entre «probablemente no efecti-vo» y «seguro no efectivo» (C2/C1) fue mayor en el gráfico de ca-ja (1.74) que en el gráfico de barras (1.59) en los estímulos quepresentaron tratamientos efectivos. Por último, la proporción entredichas respuestas (C2/C1) fue mayor en el gráfico de barras (0.53)que en el gráfico de caja (0.30), cuando los estímulos presentarontratamientos inefectivos.DiscusiónLos resultados de este estudio nos permiten establecer variasconclusiones. La primera es que la inferencia visual en diseños n= 1 depende del tipo de técnica gráfica utilizada. Considerando to-dos los errores (ante estímulos efectivos y no efectivos), los tressujetos tuvieron mejor ejecución con el box-plot que con el restode los gráficos. Una segunda conclusión de nuestro estudio es que se confirmala hipótesis de que representar directamente la información rele-vante facilita el procesamiento de la información y, por tanto, re-duce el número de errores. Esta hipótesis fue planteada original-mente por Cleveland & Mc Gill (1984) y posteriormente contras-tada por distintos autores (Spence & Lewandowsky, 1990; Ho-llands & Spence, 1992; Morales, Jurado y Domínguez, 1999, etc.). Finalmente, hemos de indicar que los resultados de nuestro es-tudio sólo indican la conveniencia de utilizar el gráfico de cajafrente a otros tipos de gráficos cuando se pretende estimar el ta-maño del efecto. Sin embargo, también es importante extraer in-formación acerca de la tendencia existente en los datos cuando setrabaja con diseños n=1. Aunque no hay estudios que comparen elgráfico de caja con el de líneas, Hollands & Spence (1992) encon-traron que el gráfico de líneas era mejor que el gráfico de barraspara evaluar la tendencia existente en una serie de datos. Asimis-mo, también es importante conocer cómo afecta el grado de auto-correlación de las puntuaciones a la inferencia visual mediante elgráfico de caja, ya que existen trabajos (Jones, Weinrott & Vaught,1978; Matyas & Greenwood, 1990), que han encontrado errores enla estimación visual del tamaño del efecto cuando se utilizan grá-ficos de líneas. Por tanto, es necesario realizar nuevos estudios pa-ra abordar estos problemas.AgradecimientosEste trabajo fue financiado por una beca PB93-1173 de la Di-rección General de Investigación Científica y Técnica del Ministe-rio de Educación y Ciencia Español y por la Consejería de Educa-ción y Ciencia de la Junta de Andalucía. Notas1 Aquí consideramos como error responder «seg u ro no efe c t i-vo» frente a «pro b ablemente efe c t ivo» o frente a «pro b abl e-mente no efe c t ivo» cuando los estímulos son efe c t ivos. Obv i a-m e n t e, también es un error responder «pro b ablemente no efe c-t ivo» en vez de «seg u ro no efe c t ivo» cuando los estímulos sonno efe c t ivo s .MANUEL MORALES ORTIZ, M. L. DOMÍNGUEZ Y T. JURADO398R e fe re n c i a sC l eve l a n d, W. S. & McGill, R. (1984). Graphical Pe rc eption: Th e o ry,ex p e ri m e n t ation and ap p l i c ation to the development of grap h i c a lmethods. Jo u rnal of the American Statistical Association, 79, 531-5 5 4 .Francis, B.; Green, M. & Payne, C. (1994). The GLIM system. Release 4manual. Oxford: Clarendon press.Hollands, J. G. & Spence, I. (1998). Judging proportions with graphs: Thesumation model. Applied Cognitive Psychology, 12, 173-190.Jones, R.R.; Weinrott, M. & Vaught, R.S. (1978). Effects of serial depen -dency on the agrreement between visual and statistical inference. Jour -nal of Applied Behavior Analysis, 11, 277-283.Knapp, T.J. (1983). Behavioral analysts’ visual appraisal of behavior chan-ge in graphic display. Behavioral Assessment, 5, 155-164.Matyas, T. A. & Greenwood, K. M. (1990). Visual analysis of single-casetime series: effects of variability, serial dependence, and magnitude ofintervention effects. Journal of Applied Behavior Analysis, 23, 341-351.Morales, M., Jurado, T. & Domínguez, M. L. (1999). Evaluación del ses-go en el análisis exploratorio de datos multivariados. Comunicaciónpresentada en el VI Congreso de Metodología de las Ciencias Socialesy de la Salud. Oviedo.Spence, I. & Lewandowsky, S. (1990). Graphical perception. En J. Fox andJ. S. Long (Eds.). Modern methods of data analysis, (pp. 13-57). New-bury Park, CA: Sage.Wampold, B. E. & Furlong, M. J. (1981). The heuristics of visual inferen-ce. Behavioral Assessment, 3, 79-92.

Visual inspection and type of graphs used

https://idus.us.es/xmlui/bitstream/handle/11441/56861/Dise%c3%b1os%20de%20respuesta.pdf?sequence=1&isAllowed=y

Visual inspection and type of graphs used

Abstract

Similar works

Full text

Available Versions

idUS. Depósito de Investigación Universidad de Sevilla