Tamaño del efecto y su intervalo de confianza y meta-análisis en Psicología

La Práctica Basada en la Evidencia (PBE) se define como “la integración de la mejor evidencia disponible con la experiencia clínica en el contexto de las características, cultura y preferencias del paciente” (American Psychological Association (APA), Presidencial Grupo de Trabajo sobre la Práctica Basada en la Evidencia, 2006, p. 273). Por definición, la PBE se basa en la utilización de la investigación científica en la toma de decisiones en un esfuerzo por producir los mejores servicios posibles en la práctica clínica (Babione, 2010; Sánchez-Meca y Botella, 2010). En consecuencia, la PBE requiere de los profesionales nuevas habilidades como la capacidad para evaluar y jerarquizar la calidad de la evidencia o las investigaciones psicológicas, para proporcionar el mejor servicio posible a los pacientes mediante la incorporación de la mejor evidencia en la experiencia o el juicio profesional, junto a las opiniones de los pacientes (Sackett, Straus, Richardson, Rosenberg, y Haynes, 2000). Dentro de este proceso de evaluación crítica de la evidencia es crucial conocer y comprender el proceso de la prueba de significación de la hipótesis nula (Null Hypothesis Significance Testing, NHST) como herramienta para el análisis de datos, dado que este procedimiento goza de una considerable difusión en la investigación en Psicología, siendo utilizado en la mayor parte de los artículos publicados en revistas del área (Cumming y cols., 2007). En consecuencia, saber cómo interpretar los valores p de probabilidad es una competencia básica del profesional en Psicología y en cualquier disciplina en que se aplique la inferencia estadística. El valor de p relacionado con los resultados de una prueba estadística es la probabilidad de obtener los datos observados o un valor más extremo si la hipótesis nula es verdadera (Kline, 2013). La definición es clara y precisa, sin embargo, los conceptos erróneos de los valores p siguen siendo numerosos y repetitivos (Badenes-Ribera, Frías-Navarro, y Pascual-Soler, 2015; Falk y Greenbaum, 1995; Haller y Krauss, 2002; Kühberger, Fritz, Lermer, y Scherndl, 2015; Oakes, 1986). Los errores de interpretación más comunes del valor p son la “falacia de la probabilidad inversa”, la “falacia de la replicación”, la “falacia del tamaño del efecto” y la “falacia de la significación clínica o práctica” (Carver, 1978; Cohen, 1994; Harrison, Thompson, y Vannest, 2009; Kline, 2013; Nickerson, 2000; Wasserstein y Lazar, 2016). La “falacia de la probabilidad inversa” es la falsa creencia de que el valor de p indica la probabilidad de que la hipótesis nula (H0) es cierta, dado ciertos datos (Pr (H0|Datos)). Esto significa confundir la probabilidad del resultado, asumiendo que la hipótesis nula es verdadera, con la probabilidad de que la hipótesis nula sea verdadera, dados ciertos datos (Kline, 2013; Wasserstein y Lazar, 2016). La “falacia de la replicación” vincula el valor de p con el grado de replicabilidad del resultado de un estudio. Supone creer erróneamente que el valor de p indica el grado de replicabilidad del resultado y su complemento, 1-p, a menudo se interpreta como indicación de la probabilidad exacta de replicación (Carver, 1978; Nickerson, 2000). La “falacia del tamaño del efecto” relaciona la significación estadística con la magnitud del efecto detectado. En concreto, supone creer erróneamente que el valor de p proporciona información directa sobre el tamaño del efecto (Carver, 1978). Es decir, que cuanto más pequeño es el valor de p más grandes son los tamaños del efecto. Sin embargo, el valor de p no informa sobre la magnitud de un efecto. Éste sólo puede ser determinado mediante la estimación directa de su valor con los estadísticos apropiados y su intervalo de confianza (Cumming, 2012; Cumming, Fidler, Kalinowski, y Lai, 2012; Kline, 2013; Wasserstein y Lazar, 2016). La “falacia de la significación clínica o práctica” es la falsa creencia de que el valor de p indica la importancia de los hallazgos (Nickerson, 2000; Wasserstein y Lazar, 2016). De esta manera, un efecto estadísticamente significativo es interpretado como un efecto importante. Sin embargo, un resultado estadísticamente significativo no indica que el resultado sea importante, de la misma manera que un resultado no estadísticamente significativo todavía podría ser importante. Dados los errores de interpretación del valor de p y otras críticas sobre el uso y abuso de del procedimiento de la NHST (e.g., Monterde-i-Bort, Frías-Navarro, y Pascual-Llobell, 2010; Wasserstein y Lazar, 2016), la APA (2001, 2010a) recomendó reportar los estadísticos de tamaño del efecto y sus intervalos de confianza, que, en conjunto, transmiten más claramente la magnitud de los hallazgos de investigación (Ferguson, 2009). Existen docenas de estadísticos del tamaño del efecto disponibles (Henson, 2006; Kline, 2013), los cuales se pueden clasificar en dos grandes grupos: las medidas de diferencias de medias y las medidas de la fuerza de las relaciones entre variables (Frías-Navarro, 2011b; Kline, 2013; Rosnow y Rosenthal, 2009). El primero se basa en la diferencia de medias estandarizadas (e.g., d de Cohen, g de Glass, g de Hedges, f de Cohen, etc.) y el segundo se basa en la proporción de varianza explicada o la correlación entre dos variables (e.g., R2/r2, η2, w2). Los estadísticos del tamaño del efecto reportados con mayor frecuencia son la R2, d de Cohen, y η2 (e.g., Peng y Chen, 2014). Estos estadísticos han sido criticados por su sesgo (es decir, que tienden a estar positivamente sesgados), su falta de robustez a los valores atípicos, y su inestabilidad bajo las violaciones de los supuestos estadísticos (Grissom y Kim, 2012; Kline, 2013; Wang y Thompson, 2007). Por último, dentro de este contexto de cambio y avances metodológicos, las revisiones sistemáticas y meta-analíticas han ganado una considerable relevancia y prevalencia en las revistas de mayor prestigio (APA, 2010a; Borenstein, Hedges, Higgins, y Rothstein, 2009). Los estudios meta-analíticos ofrecen varias ventajas sobre las revisiones narrativas: el meta-análisis implica un proceso de investigación con base científica que depende del rigor y la transparencia de cada una de las decisiones tomadas durante su elaboración, y permite dar una respuesta definitiva acerca de la naturaleza de un efecto cuando hay resultados contradictorios (Borenstein y cols., 2009). Los meta-análisis facilitan estimaciones del tamaño del efecto más precisas, permiten evaluar la estabilidad de los efectos, y ayudar a los investigadores a contextualizar los valores de los tamaños del efecto obtenidos en su estudio (Cumming y cols., 2012). Sin embargo, los estudios meta-analíticos no están libres de sesgos, por ejemplo, el sesgo de publicación, que es una de las mayores amenazas para la validez de este tipo de estudios, cuya consecuencia es una sobreestimación del tamaño del efecto (Borenstein y cols., 2009; Sánchez-Meca y Marín-Martínez, 2010). Así, Ferguson y Branninck (2011) analizaron 91 estudios de meta-análisis publicados en la American Psychological Association y en la Association for Psychological Science Journal y encontraron que de 91 estudios analizados, 26 (41%) reportaron evidencia del sesgo de publicación. Por lo tanto, los investigadores, los profesionales de la Psicología y, en general, los lectores de los estudios meta-analíticos deben conocer métodos para detectar este tipo de sesgo. En este sentido, el funnel plot es una gráfica que se utiliza con frecuencia como método de detección de sesgo de publicación en las Ciencias de la Salud (Sterne, Gavaghan, y Egger, 2005). En definitiva, es necesario llevar a cabo investigaciones sobre el grado de conocimiento metodológico que los psicólogos académicos y profesionales tienen sobre la calidad metodológica de las evidencias y de la investigación psicológica para la correcta aplicación del enfoque de la PBE y la adquisición de un conocimiento científico válido. Este tipo de investigación puede aportar luz sobre estos problemas y dar lugar a programas de formación para tratar de corregirlos o minimizarlos. Objetivos El primer objetivo de este trabajo fue detectar los errores de razonamiento estadístico que los psicólogos académicos y profesionales españoles cometen cuando se les presentan los resultados de una prueba de inferencia estadística. Con este fin, se analizaron dos cuestiones: la primera fue la extensión de los errores más comunes de interpretación con respecto al valor de p y la segunda fue el grado en que se interpretan correctamente los valores de p por parte de ambos colectivos. El segundo objetivo fue analizar lo que los psicólogos académicos y profesionales españoles conocen sobre los tamaños del efecto, sus intervalos de confianza y los estudios de meta-análisis, teniendo en cuenta que esta es una de las principales recomendaciones propuestas por la APA (2010a) para mejorar la práctica estadística en la investigación psicológica y favorecer la acumulación de conocimiento y la replicación de los hallazgos. Por último, se trató de comprobar si los resultados de la investigación sobre los errores de interpretación del valor de p y el nivel de conocimiento sobre los tamaños del efecto, sus intervalos de confianza y los meta-análisis, realizados en los psicólogos académicos españoles, son constantes, para lo cual llevamos a cabo sendos estudios de replicación con una muestra de psicólogos académicos chilenos e italianos. Método Procedimiento Se realizaron una serie de estudios transversales mediante encuesta on-line. Para ello, se registraron las direcciones de correo electrónico de los psicólogos académicos españoles, chilenos e italianos a través de la consulta de las webs de las universidades en estos países. Los potenciales participantes fueron invitados a completar una encuesta a través del uso de un sistema CAWI (Computer Assisted Web Interviewing). Se envió un mensaje de seguimiento dos semanas después a los potenciales participantes que no habían contestado a la encuesta. La recogida de datos se llevó a cabo durante el año académico 2013-2014 para la muestra española y desde marzo a mayo de 2015 para la muestra chilena e italiana. En cuanto a la muestra española de psicólogos profesionales, se envió un e-mail a los Colegios Oficiales de Psicólogos invitándoles a participar en la encuesta on-line sobre práctica profesional en Psicología. Los potenciales participantes fueron invitados a completar una encuesta a través del uso de un sistema CAWI. Tres semanas después se envió un mensaje de seguimiento. La recogida de datos se llevó a cabo durante los meses de mayo a septiembre de 2015. Participantes La muestra de psicólogos académicos españoles estuvo formada por 472 participantes. La media de años de los profesores en la Universidad fue de 13.56 años (DT = 9.27). Los hombres representaron 45.8% (n = 216) y las mujeres 54.2% (n = 256). La muestra de psicólogos académicos chilenos e italianos estaba compuesta por 194 participantes. De estos 194 participantes, 159 eran italianos y 35 chilenos. De los 159 participantes italianos, 45.91% eran hombres y 54.09% mujeres, con una edad media de 47.65 años (DT = 10.47). El número medio de años que los profesores habían pasado en el ámbito académico fue de 12.90 años (DT = 10.21). De los 35 psicólogos académicos chilenos, los hombres representaron el 45.71% de la muestra y las mujeres el 54.29. Además, la edad media de los participantes fue de 43.60 años (DT = 9.17). El número medio de años que los profesores habían pasado en el ámbito académico fue de 15 años (DT = 8.61). Por último, la muestra de psicólogos profesionales españoles estuvo formada por 77 participantes (68.8% mujeres, 31.2% hombres, edad media de 41.44 años, DT = 9.42). Instrumento El instrumento aplicado consistió en una encuesta dividida en dos secciones. La primera sección incluía ítems relacionados con información sobre el sexo, la edad y los años de experiencia como psicólogo académico, el área de conocimiento a la que está adscrita, y el tipo de Universidad (pública/privada). Además, para los psicólogos profesionales españoles, la primera sección también incluyó ítems relacionados con los años de experiencia como psicólogo profesional, el entorno clínico (pública/privada), y el grado de familiaridad con el movimiento de la PBE. La segunda sección incluyó ítems relacionados con el conocimiento sobre aspectos metodológicos relacionados con la PBE, como por ejemplo, la interpretación del valor p, el nivel de conocimiento de los estadísticos del tamaño del efecto, intervalos de confianza, estudios de meta-análisis, y las listas de comprobación de la calidad metodológica de los estudios. Análisis de datos Todos los estudios incluyeron estadísticos descriptivos de las variables objeto de evaluación, tales como frecuencias y porcentajes. Además, los análisis incluyeron la estimación del intervalo de confianza para los porcentajes. Para el cálculo del intervalo de confianza se utilizaron los métodos de puntuación basados en la obra de Newcombe (2012). Todos los análisis se realizaron con el programa estadístico SPSS v. 20 de IBM para Windows. Resultados y conclusiones Los resultados indican que la comprensión de muchos conceptos estadísticos sigue siendo problemática entre los psicólogos académicos y profesionales españoles, y también entre los psicólogos académicos chilenos e italianos. Los errores metodológicos de interpretación y los pobres conocimientos de determinados estadísticos y procedimientos han sido y continúan siendo una fuente de amenaza directa para una adecuada implementación de la PBE en la práctica profesional y para la adquisición de un conocimiento científico válido. En cuanto a los errores de interpretación del valor de p, la “falacia de la probabilidad inversa” fue la interpretación errónea más prevalente entre los psicólogos académicos españoles, italianos y chilenos. Esto significa que algunos psicólogos académicos confunden la probabilidad de obtener un resultado dado o un resultado más extremo si la hipótesis nula es verdadera (Pr (Datos|H0) con la probabilidad de que la hipótesis nula sea cierta dados algunos datos (Pr (H0|Datos). Además, los psicólogos académicos españoles, italianos y chilenos adscritos al área de Metodología no fueron inmunes a las interpretaciones erróneas del valor de p, lo que puede dificultar la formación estadística de los estudiantes y facilitar la transmisión de estas falsas creencias, así como su perpetuación (Haller y Krauss, 2002; Kirk, 2001; Kline, 2013; Krishnan y Idris, 2014). Estos resultados son consistentes con estudios previos (Haller y Krauss, 2002; Lecoutre, Poitevineau, y Lecoutre, 2003; Monterde-i-Bort y cols., 2010). Por otra parte, la “falacia de la significación clínica o práctica” fue la interpretación errónea más frecuente entre los psicólogos profesionales españoles. Sin embargo, un resultado estadísticamente significativo no indica que el resultado es importante, de la misma manera que un resultado no estadísticamente significativo aún podría ser importante (Nickerson, 2000; Wasserstein y Lazar, 2016). La importancia clínica se refiere a la utilidad práctica o aplicada o a la importancia del efecto de una intervención. Es decir, si produce alguna diferencia real (auténtica, palpable, práctica, notable) para los clientes o para otros con los que interactúan en la vida cotidiana (Kazdin, 1999, 2008). Las pruebas de significación estadística tienen un propósito y responden a unos problemas y no a otros. Una prueba de significación estadística no indica la importancia de un resultado, la replicabilidad del mismo, o incluso la probabilidad de que un resultado sea debido al azar (Carver, 1978). El valor de p nos informa de si existe un efecto, pero no revela el tamaño del efecto, ni su significación clínica/práctica (Ferguson, 2009; Sullivan y Feinn, 2012). El tamaño del efecto sólo puede ser determinado mediante la estimación directa de su valor con los estadísticos apropiados y su intervalo de confianza (Cohen, 1994; Cumming, 2012; Kline, 2013; Wasserstein y Lazar, 2016). Sin embargo, interpretar un resultado estadísticamente significativo como importante o útil, confundir el nivel de significación de alfa con la probabilidad de que la hipótesis nula sea cierta, relacionar el valor de p con la magnitud del efecto, y creer que la probabilidad de replicación de un resultado es 1-p son interpretaciones erróneas o falsas creencias que siguen existiendo entre los psicólogos académicos y psicólogos profesionales, como muestran los resultados. Estos conceptos erróneos son problemas de interpretación y no son un problema del procedimiento de la NHST en sí mismo (Leek, 2014). Detrás de estas interpretaciones erróneas existen algunas creencias y atribuciones acerca de la significación estadística de los resultados. Por lo tanto, es necesario mejorar la enseñanza de la estadística, la formación de los psicólogos y el contenido de los manuales de estadística con el fin de garantizar una formación de alta calidad a los futuros profesionales (Babione, 2010; Cumming, 2012; Kline, 2013; Haller y Krauss, 2002). Los problemas en la comprensión del valor p influencian las conclusiones que los profesionales extraen de sus datos (Hoekstra, Morey, Rouder, y Wagenmakers, 2014), poniendo en peligro la calidad de los resultados de la investigación psicológica (Frías-Navarro, 2011a). El valor de la evidencia científica depende de la calidad de los análisis estadísticos y de su interpretación (Faulkner, Fidler, y Cumming, 2008). Por otro lado, la mayoría de los participantes en los estudios realizados afirmaron utilizar estudios meta-analíticos en su práctica profesional y tener un conocimiento adecuado sobre los mismos, así como de los estadísticos del tamaño del efecto. Sin embargo, reconocieron que tienen un pobre conocimiento de los gráficos que se utilizan en los meta-análisis, como por ejemplo, el forest plot y el funnel plot, lo cual puede llevar a una mala interpretación de los resultados y, por lo tanto, dar lugar a una mala práctica, teniendo en cuenta que la mayoría de los participantes declaró que usaba estudios meta-analíticos en su práctica profesional. Como varios autores señalan, la presentación gráfica de los resultados es una parte importante de un meta-análisis y se ha convertido en la principal herramienta para la presentación de los resultados de múltiples estudios sobre la misma pregunta de investigación (Anzures-Cabrera y Higgins, 2010; Borenstein, y cols., 2009). De este modo, el forest plot y el funnel plot son gráficos utilizados en los estudios de meta-análisis para presentar las estimaciones del tamaño del efecto medio y el sesgo de publicación, respectivamente. El sesgo de publicación es una importante amenaza para la validez de los estudios meta-analíticos, ya que las estimaciones meta-analíticas derivadas podrían ser imprecisas, típicamente, sobreestimando el efecto. A ese respecto, el funnel plot se utiliza como método de detección del sesgo de publicación en las Ciencias de la Salud (Sterne y cols., 2005). Por lo tanto, investigadores, académicos y profesionales deben tener un conocimiento adecuado de este tipo de gráfica, que es una herramienta básica de los estudios de meta-análisis para detectar el sesgo de publicación y la heterogeneidad de los tamaños de efecto. Con respecto al tipo de estadístico del tamaño del efecto que conocen los participantes, estos mencionaron en mayor medida los estadísticos de la familia de las diferencias de medias estandarizadas y η2 (estadísticos del tamaño del efecto paramétricos). Sin embargo, estos estadísticos del tamaño del efecto han sido criticados por su falta de robustez frente a los valores atípicos o desviación de la normalidad, y la inestabilidad bajo las violaciones de los supuestos estadísticos (Algina, Keselman, y Penfield, 2005; Grissom y Kim, 2012; Kline, 2013; Peng y Chen, 2014; Wang y Thompson, 2007). Hay razones teóricas y evidencia empírica de que los valores atípicos y las violaciones de los supuestos estadísticos son comunes en la práctica (Erceg-Hurn y Mirosevich, 2008; Grissom y Kim, 2001). Los resultados sugieren que la mayoría de los psicólogos académicos y profesionales españoles y los psicólogos académicos italianos y chilenos no conocen las alternativas para los estadísticos del tamaño del efecto paramétricos, tales como los estadísticos no paramétricos (e.g., correlación de Spearman), los estadísticos robustos de la diferencia de medias estandarizada (basados en las medias recortadas y varianzas winsorizada), la probabilidad de superioridad (PS), el número necesario a tratar (NNT) o el área bajo la curva ROC (AUC) (Erceg-Hurn y Mirosevich, 2008; Ferguson, 2009; Grissom y Kim, 2012; Keselman, Algina, Lix, Wilcox, y Deerin, 2008; Kraemer y Kupfer, 2006; Peng y Chen, 2014; Wilcox, 2010; Wilcox y Keselman, 2003). Como Erceg-Hurn y Mirosevich (2008) señalaron esto podría ser debido a la falta de exposición a estos métodos. De esta manera, “el plan de estudios de estadística en Psicología, los artículos de las revistas, los manuales populares, y el software están dominados por la estadística desarrollada antes de la década de 1960” (op. cit., p. 593). En cuanto a las listas de control de la calidad metodológica de los estudios, de nuevo la mayor parte de los participantes dijeron no tener conocimiento sobre ellas. Sin embargo, éste es un campo en expansión y actualmente existen listas de comprobación para estudios primarios (por ejemplo, CONSORT), para estudios de meta-análisis clásicos (por ejemplo, AMSTAR) y para estudios de meta-análisis en red (por ejemplo, PRISMA-NMA). Por otro lado, el análisis del comportamiento de los investigadores asociado con sus práct

Errors d'interpretació dels valors "p" en estudiants universitaris de Psicologia

Antecedents. Informar sobre els valors p de les proves de significació estadística és comú en la literatura empírica de Psicologia. No obstant això, les interpretacions incorrectes del valor p són abundants i repetitives. Aquests errors afecten les decisions professionals i posen en risc la qualitat de les intervencions psicològiques i l'acumulació d'un coneixement científic vàlid. L'objectiu d'aquest estudi és descriure els errors d'interpretació del valor p i la seua interpretació correcta en els estudiants de Psicologia de la Universitat de València. Mètode: La mostra està formada per 63 participants. L'edat mitjana dels participants va ser de 20,05 anys (DT = 2,74). Es va enquestar els participants sobre les seues interpretacions dels valors de p. Resultats. Els nostres resultats suggereixen que la majoria dels estudiants universitaris de Psicologia no coneixen la interpretació correcta dels valors p. La fal·làcia de la probabilitat inversa presenta més problemes de comprensió. A més, un gran nombre dels estudiants confonen la significació estadística del resultat obtingut amb la seua significació pràctica o clínica. Conclusions principals Aquests resultats destaquen la importància de l'educació estadística

Body weight satisfaction and antifat attitudes

Nature of the Proceeding: Appeal Trial Court and Judge: Appeal from the Third District Court, Salt Lake County, Judge John Paul Kenned

Razones para emigrar de los estudiantes universitarios: ¿continuar con la formación académica?

El principal propósito de nuestro trabajo es analizar los motivos que los jóvenes, especialmente estudiantes universitarios, señalan como impulsores de la decisión de emigrar. En concreto analizamos si el deseo de continuar con la formación académica es determinante para decidir emigrar a otro país. La nueva realidad española ha dado lugar a la configuración de un grupo de jóvenes que acaban sus estudios universitarios y deciden emigrar a otro país para continuar con su desarrollo personal, profesional o académico. Nuestro sistema educativo ha de adaptarse a esa nueva necesidad que tiene una parte de los jóvenes estudiantes universitarios. Qué preparación específica reciben los estudiantes universitarios para llevar a cabo esa decisión de forma exitosa o qué elementos personales conducen a tomar la decisión de emigrar son reflexiones que nuestro sistema educativo ha de realizar para adaptarse a esa nueva realidad. Nuestro estudio entrevista a 59 estudiantes universitarios sobre las razones que le impulsarían a emigrar, incluyendo aspectos de formación académica así como otros motivos (personales, familiares, económicos…). Los resultados señalan que las razones para emigrar son económicas y de formación académica principalmente

Prevalence of Intoxicating Substance Use Before or During Sex Among Young Adults: A Systematic Review and Meta-Analysis

Drug use before or during sex is a high-risk sexual behavior associated with adverse health risks and outcomes, such as increasing the likelihood of overdoses and of acquiring sexually-transmitted diseases. This systematic review and meta-analysis of three scientific databases examined the prevalence of the use of intoxicating substances, those tending to excite or stupefy the user on a psychoactive level, before or during sex, among young adults (18–29 years old). A total of 55 unique empirical studies met the inclusion criteria (48,145 individuals; 39% males), were assessed for risk of bias using the tools of Hoy et al. (2012), and were analyzed via a generalized linear mixed-effects model. The results produced a global mean prevalence of this sexual risk behavior of 36.98% (95% CI: 28.28%, 46.63%). Nonetheless, significant differences were identified between different intoxicating substances, with the use of alcohol (35.10%; 95% CI: 27.68%, 43.31%), marijuana (27.80%; 95% CI: 18.24%, 39.92%), and ecstasy (20.90%; 95% CI: 14.34%, 29.45%) significantly more prevalent than that of cocaine (4.32%; 95% CI: 3.64%, 5.11%), heroin (.67%; 95% CI:.09%, 4.65%), methamphetamine (7.10%; 95% CI: 4.57%, 10.88%), and GHB (6.55%; 95% CI: 4.21%, 10.05%). Moderator analyses showed that the prevalence of alcohol use before or during sex differed according to geographical sample origin, and increased as the proportion of ethnic whites in samples increased. The remaining demographic (e.g., gender, age, reference population), sexual (e.g., sexual orientation, sexual activity), health (e.g., drug consumption, STI/STD status), methodological (e.g., sampling technique), and measurement (e.g., timeframe) variables that were examined did not moderate prevalence estimates. Implications for sexual development interventions were discussed