How many tiers do we need? Type I errors and power in multiple baseline designs

Design quality guidelines typically recommend that multiple baseline designs include at least three demonstrations of effects. Despite its widespread adoption, this recommendation does not appear grounded in empirical evidence. The main purpose of our study was to address this issue by assessing Type I error rate and power in multiple baseline designs. First, we generated 10,000 multiple baseline graphs, applied the dualcriteria method to each tier, and computed Type I error rate and power for different number of tiers showing a clear change. Second, two raters categorized the tiers for 300 multiple baseline graphs to replicate our analyses using visual inspection. When multiple baseline designs had at least three tiers and two or more of these tiers showed a clear change, the Type I error rate remained adequate (< .05) while power also reached acceptable levels (> .80). In contrast, requiring all tiers to show a clear change resulted in overly stringent conclusions (i.e., unacceptably low power). Therefore, our results suggest that researchers and practitioners should carefully consider limitations in power when requiring all tiers of a multiple baseline design to show a clear change in their analyses

L’analyse appliquée du comportement en autisme et ses enjeux : une évaluation du potentiel de la technologie pour améliorer la pratique et la recherche

Le trouble du spectre de l’autisme (TSA) est un trouble neurodéveloppemental caractérisé par des déficits importants de la communication sociale et des interactions sociales ainsi que par la présence de comportements ou d'intérêts restreints et répétitifs. Les données empiriques suggèrent que les interventions découlant de l’analyse appliquée du comportement (AAC) sont les plus efficaces pour intervenir auprès des personnes ayant un TSA. Néanmoins, certaines lacunes en lien avec les interventions découlant de l’analyse du comportement existent. Notamment, le manque d’accessibilité aux services, le manque de connaissances quant aux facteurs sous-jacents à l’efficacité des interventions et les perceptions divergentes de l’AAC freinent son adoption à plus grande échelle. Cette thèse comprend trois études qui mettent à profit la technologie pour mieux comprendre ou améliorer ces enjeux entourant l’AAC. Dans le cadre ma première étude, les effets d’une formation interactive en ligne qui vise à enseigner aux parents des stratégies découlant de l’AAC pour réduire les comportements problématiques de leur enfant ont été évalués à l’aide d’un devis randomisé contrôlé avec liste d’attente. Les résultats de cette étude soutiennent le potentiel et l’efficacité de la formation pour augmenter la fréquence d’utilisation de stratégies d’intervention découlant de l’AAC par les parents ainsi que pour réduire l’occurrence et la sévérité des comportements problématiques de leur enfant. En revanche, aucune différence significative n’a été observée pour la mesure des pratiques parentales. Certains enjeux éthiques et pratiques entourant la dissémination de la formation en ligne complètement auto-guidées sont discutés. La deuxième étude de ma thèse doctorale visait donc à montrer comment utiliser des algorithmes d’apprentissage automatique pour identifier les personnes qui sont plus enclines à observer des améliorations suivant une intervention. Plus spécifiquement, l’utilisation de quatre algorithmes d’apprentissage automatique pour prédire les participants ayant pris part à la première étude de cette thèse qui étaient les plus propices à rapporter une diminution des comportements problématiques de leur enfant est démontrée. Cette étude soutient que des algorithmes d’apprentissage automatique peuvent être utilisés avec de petits échantillons pour soutenir la prise de décision des cliniciens et des chercheurs. La troisième étude cette thèse visait à quantifier l’information sur l’AAC publiée dans quatre sous-forums d’un forum internet, une ressource en ligne souvent utilisée par les familles pour identifier des interventions à utiliser après de leur enfant. Pour atteindre cet objectif, une procédure de forage de données a été réalisée. Les analyses de cette étude appuient que les parents qui fréquentent le forum sont exposés à une proportion importante de messages présentant une désapprobation de l’AAC pour intervenir auprès des personnes ayant un TSA ou bien une description inexacte des principes, méthodes, procédures ou interventions qui en découlent. Ensemble, les études effectuées dans le cadre de ma thèse doctorale mettent en évidence les bienfaits de la technologie pour l’intervention psychosociale, tant au niveau de l’évaluation que de l’intervention et du transfert de connaissances. Comme souligné dans les trois études de cette thèse, chacun des outils utilisés présente des limites et doit donc être utilisé pour soutenir les cliniciens et les chercheurs, et non pour remplacer leurs interventions et leur jugement clinique. Les études futures doivent continuer à s’intéresser à l’efficacité des outils technologiques, mais également aux facteurs sous-jacents qui favoriseront leur utilisation et aux considérations éthiques liées à leur emploi.Autism Spectrum Disorder (ASD) is a neurodevelopmental disorder characterized by significant deficits in social communication and social interactions and by the presence of restricted and repetitive behaviors or interests. Empirical evidence suggests that interventions based on applied behavior analysis (ABA) are the most effective for treating individuals with ASD. Nevertheless, interventions based on behavior analysis present some issues. In particular, intervention services are hard to access, knowledge about the underlying factors of the effectiveness of interventions is lacking and divergent perceptions about of ABA hamper the adoption of the science. This dissertation includes three studies in which technology is used to better understand or improve these issues regarding ABA. As part of my first study, the effects of a fully self-guided interactive web training (IWT) developed for teaching parents of children with ASD ABA-derived strategies to reduce their child's challenging behaviors were evaluated using a randomized waitlist trial. The results of this study support the effectiveness of the IWT for increasing the frequency of parents’ use of behavioral interventions as well as for reducing the frequency and severity of their child’s challenging behaviors. In contrast, no significant difference was observed for the measurement of parenting practices. Ethical and practical consideration regarding the dissemination of fully self-guided online trainings are discussed. The second study of my doctoral thesis aimed to show how to use machine learning algorithms to predict individuals who were most likely to improve following an intervention. Specifically, a demonstration of how to implement four machine learning algorithms to predict the participants from my first study who were the most likely to report a decrease in their child's iv challenging behaviors. This study argues that machine learning algorithms can be used with small samples to support clinicians’ and researchers’ decision making. The third study of my dissertation aimed to quantify the information about ABA published on four subforums of an internet forum; an online resource often used by families to identify potential interventions for their child. This goal was achieved through the use of a data mining procedure. The analyses showed that parents who visited the forum were exposed to a significant proportion of messages that disapproved of ABA for individuals with ASD or that inaccurately described its underlying principles, methods, procedures, or interventions. Together, the studies carried out as part of my doctoral dissertation highlight the benefits of technology to support assessments, interventions, and knowledge gains or transfer within psychosocial practices. As highlighted in the three studies of this dissertation, each of the tools used presents limitations and should therefore be used to support clinicians and researchers, and should not replace their interventions and clinical judgment. Future studies should continue to focus on the effectiveness of technological tools and on the underlying factors that will promote their use. Finally, researchers must reflect on the ethical considerations related to use of technology when working with humans

Effects of an interactive Web training to support parents in reducing challenging behaviors in children with autism

Many children with autism spectrum disorder (ASD) engage in challenging behaviors, which may interfere with their daily functioning, development, and well-being. To address this issue, we conducted a four-week randomized waitlist control trial to examine the effects of a fully self-guided interactive web training (IWT) on (a) child engagement in challenging behaviors and (b) parental intervention. After 4 weeks, parents in the treatment group reported lower levels of challenging behaviors in their children and more frequent use of behavioral interventions than those in the waitlist groups. Furthermore, within-group analyses suggest that these changes persisted up to 12 weeks following completion of the IWT. Our results highlight the potential utility of web training, but our high attrition rate and potential side effects prevent us from recommending the training as a standalone treatment

Occasions et défis de l’utilisation de la microcertification numérique au 21e siècle : présentation d’un modèle conceptuel pour les gestionnaires

La crise sanitaire provoquée par la pandémie de COVID-19 a engendré des perturbations majeures dans tous les secteurs de l’industrie et a accéléré la transformation numérique des organisations tout en étant le catalyseur de la formation en ligne et de l’apprentissage par le numérique (Brunet, 2020; FCEI, 2020; Lamb, 2020). Ainsi, dans un contexte postpandémique, il est envisageable que les systèmes de formation des organisations soient principalement basés sur des modalités de formations en ligne ou hybrides (Schrumm, 2020). De plus, le mode de formation dit traditionnel entraîne plusieurs insatisfactions chez les gestionnaires actuels. Ainsi, de nouvelles options sont envisagées par les employeurs eux-mêmes afin de pallier le manque de compétences spécifiques de leur main-d’œuvre qui sont propres à leur industrie. L’une de ces initiatives est la microcertification numérique (MCN). Cet article propose un modèle conceptuel construit à partir d’une revue de la littérature qui marie le domaine de l’éducation avec celui du monde des affaires. Il présente les éléments qui accélèrent l’adoption des MCN ainsi que les possibles obstacles lors de l’implémentation

Évaluation des propriétés psychométriques de l’échelle abrégée de Kessler (K6) parmi les adolescents québécois

Objectif Cette étude vise à examiner la structure unidimensionnelle et les qualités psychométriques de la version courte de l’échelle de détresse psychologique de Kessler (K6) auprès d’adolescents résidant au Québec.Méthode Les données analysées proviennent de l’Enquête sur la santé dans les collectivités canadiennes de 2013-2014 et portent sur 1 618 adolescents. La structure interne du K6 et l’invariance selon le sexe et l’âge ont été testées à l’aide d’analyses factorielles confirmatoires. La validité convergente et divergente ainsi que la consistance interne du K6 ont aussi été évaluées. Enfin, des analyses ont été effectuées à l’aide de Courbes Receiver Operating Characteristic (ROC) pour déterminer dans quelle mesure le K6 permet de prédire la présence d’un épisode dépressif majeur.Résultats Les analyses suggèrent la présence d’une structure unidimensionnelle dans l’échantillon d’adolescents québécois, ainsi que chez les sous-groupes étudiés. L’invariance de la mesure est observée pour les sous-groupes d’âge, mais ne peut être statuée avec certitude pour les analyses selon le sexe. Les résultats appuient la validité convergente et divergente du K6 auprès des adolescents, alors que les valeurs alpha et omega du K6 indiquent que la consistance interne varie de questionnable à acceptable pour l’ensemble des répondants et des sous-groupes. Les résultats des courbes ROC révèlent que le point de coupure 4/5 est celui qui permet de prédire le mieux l’épisode dépressif majeur chez l’ensemble des participants et les sous-groupes.Conclusion Bien que le K6 présente plusieurs avantages, les résultats de la consistance interne et de l’invariance selon le sexe obligent une certaine prudence quant à son utilisation pour identifier le niveau de détresse psychologique des adolescents et des adolescentes québécois.Objectives The purpose of this study was to examine the unidimensional structure and psychometric qualities of the short version of the Kessler Psychological Distress Scale (K6) in adolescents living in Quebec.Method Data analyzed were obtained from the 2013-2014 Canadian Community Health Survey and included data from 1618 adolescents. The internal structure of the K6 and invariance by gender and age were tested using confirmatory factor analyses. Convergent and divergent validity of the K6 were also assessed. Finally, Receiver Operating Characteristic (ROC) analyses were performed to determine the predictive power of the K6 in predicting the presence of a major depressive episode.Results The analyses suggest the presence of a unidimensional structure in the Quebec adolescent sample, as well as in the studied subgroups. The invariance of the measure is observed for the age subgroups but cannot be established with certainty for the gender analyses. The results support the convergent and divergent validity of the K6 with adolescents, whereas the alpha and omega values of the K6 indicate that its internal consistency ranges from questionable to acceptable for all respondents and subgroups. The results of the ROC curves reveal that the 4/5 cut-off point best predicts the presence of a major depressive episode among all participants and subgroups.Conclusion Although the K6 has several advantages, the internal consistency and invariance by gender results warrant caution regarding its use to identify the level of psychological distress of Quebec adolescents

L’activité physique : quelle est sa place dans la formation et la pratique des psychoéducateurs au Québec ?

Les professionnels de l’intervention psychosociale au Québec, dont les travailleurs sociaux, les psychologues et les psychoéducateurs, ont comme dénominateur commun d’offrir des services visant à améliorer le fonctionnement, la participation sociale et la qualité de vie des individus aux prises avec des difficultés d’adaptation ou des problèmes de santé mentale. Une intervention qui a de plus en plus de soutien empirique comme outil d’intervention psychosociale est l’activité physique. En fait, de nombreuses recherches ont permis de démontrer les bienfaits de l’activité physique auprès de populations desservies par les professionnels de l’intervention psychosociale.Objectifs Ainsi, l’objectif principal de cette étude est de dresser un portrait de la place qu’occupe l’activité physique en intervention psychosociale, plus particulièrement en psychoéducation. Les objectifs spécifiques poursuivis sont : 1) d’évaluer la place qu’occupe l’activité physique dans la formation académique et continue des psychoéducateurs ; 2) de dresser un portrait de l’utilisation de l’activité physique dans la pratique des psychoéducateurs et les facteurs faisant obstacle à son utilisation ; 3) d’explorer si certaines variables influencent l’utilisation de l’activité physique par les psychoéducateurs.Méthode En tout, 150 psychoéducateurs à travers le Québec (nombre d’années d’expérience : M = 11,2 ; ÉT = 9,1) ont répondu à un sondage en ligne. Des analyses descriptives, des probabilités conditionnelles, des analyses de chi-carré et des régressions logistiques ont été effectuées.Résultats Les résultats suggèrent que l’activité physique figure toujours parmi les outils d’intervention des psychoéducateurs, avec un peu plus de 75 % des professionnels qui rapportent avoir utilisé l’activité physique dans le cadre de leur pratique. En contrepartie, très peu de psychoéducateurs ont obtenu de la formation académique ou continue sur cet outil d’intervention. L’utilisation de l’activité physique ne semble pas différer selon les clientèles avec lesquelles les psychoéducateurs travaillent, mais elle est positivement et significativement prédite par le nombre d’années d’expérience des professionnels.Conclusion Considérant les nombreux bienfaits associés à l’activité physique, les résultats de la présente étude incitent à une réflexion quant à la place qu’occupe l’activité physique dans l’intervention psychosociale ainsi qu’à la formation offerte aux professionnels en lien avec cet outil d’intervention. Ensemble, les résultats de la littérature scientifique et de notre étude soulignent que l’activité physique peut servir d’outil d’intervention psychosocial. Toutefois, afin d’éviter qu’une utilisation inadéquate produise des effets iatrogènes chez leurs clients, il importe de poursuivre de tels projets de recherches afin d’assurer que les professionnels aient la formation et l’encadrement nécessaire pour une implantation sécuritaire et efficace.The provision of services that improve the functioning, social participation and quality of life of individuals with behavioral or mental health problems is a common denominator amongst psychosocial professionals in Quebec, including social workers, psychologists and psychoeducators. One intervention that has gained empirical support as an intervention tool is physical activity. In fact, numerous studies have demonstrated the benefits of physical activity for many populations with whom psychosocial professionals work.Objectives Thus, the primary objective of this study was to understand the role physical activity plays in psychosocial intervention, specifically in the field of psychoeducation. The specific objectives of this study are (1) to assess how physical activity spans out in the academic and continuing education of psychoeducators, (2) establish the use of physical activity, and (3) to explore whether certain variables influence the use of physical activity by psychoeducators.Method A total of 150 psychoeducators across Quebec (years of experience: M = 11.2; SD = 9.1) completed an online survey. Descriptive statistics, conditional probability, chi-square, analyses, and logistic regression were performed.Results The results suggest that physical activity is an intervention tool used by psychoeducators, with just over 75% of professionals reporting having used physical activity in their practice. However, very few psychoeducators have received academic or continuing education pertaining to this intervention tool. The use of physical activity was not found to differ across clienteles with whom psychoeducators worked, but was positively and significantly predicted by the number of years of experience of the professionals.Conclusion Considering the numerous benefits associated with physical activity, the results of the present study emphasize the need to reflect on physical activity in psychosocial intervention and on the training offered to professionals in relation to the use of this tool. Taken together, the results of the scientific literature and our study highlight that physical activity can be used as an intervention tool by psychosocial professionals. However, in order to avoid iatrogenic outcomes resulting from inappropriate use of physical activity, further research is needed to ensure that professionals have the necessary training and supervision for safe and effective implementation

Les portes tournantes entre les think tanks, l’administration publique et les partis politiques : la légitimité par la proximité ?

À partir de la trajectoire professionnelle des membres des 24 think tanks (ou groupes de réflexion) canadiens les plus importants, nous examinons les liens qui unissent ceux-ci et la sphère politico-administrative. Nous nous attardons plus précisément aux portes tournantes (revolving doors) entre les think tanks, l’administration publique et les partis politiques, avec la prémisse que cette proximité est susceptible d’accroître, auprès des décideur·euses publics, la légitimité des organisations qui en bénéficient. Nous nous penchons également sur les liens entre les think tanks et les différents secteurs d’activités économiques, partant cette fois de l’idée que ces groupes de réflexion peuvent servir de porte-voix à certain·es acteur·rices industriels, reconfigurant le lobbyisme tel que traditionnellement conçu. Nos résultats montrent que le phénomène des portes tournantes est bien présent dans l’univers des think tanks canadiens et que, de fait, il y en a qui sont bien positionnés pour servir de relais entre certain·es acteur·rices industriels et la sphère politico-administrative.Based on the professional trajectory of the 24 most significant Canadian think tank members, we examine the links between them and the political-administrative sphere. Specifically, we look at the revolving doors between think tanks, the public administration, and political parties, with the premise that this proximity is likely to increase these organizations’ legitimacy in the eyes of public decision-makers. We also look at the links between think tanks and different sectors of economic activity, this time based on the idea that these groups can serve as a relay for certain industrial actors, reconfiguring lobbying as traditionally conceived. Our results show that, indeed, the phenomenon of revolving doors is very present in the world of Canadian think tanks; furthermore, some of them are well positioned to link certain industrial actors to the political-administrative sphere

Perceptions of behavior analysis in France : accuracy and tone of posts in an Internet forum on autism

Applied behavior analysis (ABA), which is often used as the basis for designing interventions for people with autism spectrum disorder (ASD), is highly misrepresented and underutilized in many countries. One country where ABA remains particularly difficult to access is France. One potential problem is that parents often rely on online resources such as social media to identify interventions for their children. Many of these sources of information do not accurately portray ABA, or even openly disapprove of the science. To examine this issue, we used a data-mining methodology to extract, categorize, and analyze 897 messages on ABA published in a popular French internet forum based on their type, tone, and accuracy. Although messages were generally accurate and approving of ABA, our results showed that one in three messages fully or partially disapproved of the science, and one in four messages contained some inaccurate information. Our analyses also indicated that parents were more likely to approve of ABA than individuals with ASD. Finally, we found that the number of approving messages published in the internet forum decreased with time, especially over the last five years. Together, these results support the relevance of developing systems-level approaches to dispel misconceptions about ABA in languages other than English