Sistemática para a implantação de testes adaptativos informatizados baseados na teoria da resposta ao item

Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia de Produção, Florianópolis, 2011Essa tese apresenta uma sistemática para a implantação de Testes Adaptativos Informatizados baseados na Teoria da Resposta ao Item (SITAI), com a finalidade de servir como um suporte para a orientação nas etapas do desenvolvimento e elaboração de um TAI. A literatura existente sobre Testes Adaptativos Informatizados (TAI) geralmente está focada no que diz respeito ao algoritmo do TAI. Dessa forma, existe uma carência em encontrar um método para a implantação de TAIs. Nessa tese, foi desenvolvido um método, constituído por diretrizes, que sistematiza etapas para a elaboração de um TAI qualquer, independente das características particulares de cada um, onde o pesquisador poderá utilizá-lo como um guia para o desenvolvimento do TAI que deseja elaborar. A sistemática desenvolvida nessa tese pretende servir como um guia, principalmente ao usuário leigo que deseja desenvolver e implantar um TAI, orientando-o quanto à criação das etapas do teste, salientando os cuidados necessários na elaboração do mesmo, e indicando os métodos e critérios adequados para o teste a ser construído, de acordo com as características e especificações do teste. Nesse trabalho, também foi feito um levantamento bibliográfico exaustivo sobre TAIs, um levantamento bibliográfico sucinto sobre a TRI voltado para a aplicação de TAIs, foram definidas as etapas necessárias para a implantação de um TAI, segundo as características específicas do teste, foram identificados os mais diferentes métodos e critérios utilizados para a elaboração de um TAI e foi realizado um estudo de caso na avaliação teórica para a obtenção da carteira de habilitação de motorista realizada pelo Departamento de Trânsito do Estado de Santa Catarina (DETRAN-SC) a fim de aplicar e validar a sistemática desenvolvida. Embora a SITAI não tenha sido aplicada em sua plenitude, nas etapas em que ela foi aplicada, pode-se constatar que ela proporciona uma boa referência para a implantação de TAIs. Não houve grandes dificuldades para seguir a SITAI em relação à definição do teste, à calibração do banco de itens, à elaboração do algoritmo e à análise da precisão e da validade. Os resultados mostraram as deficiências e as vantagens potenciais da implantação de um TAI no DETRAN-SC

A utilização da teoria da resposta ao item como ferramenta para a construção de escalas na área de gestão.

A Teoria da Resposta ao Item (TRI) é uma metodologia que sugere formas de representar a relação entre a probabilidade de um indivíduo dar uma certa resposta a um item (questão), os traços latentes do indivíduo e as características dos itens, por meio de modelos matemáticos. Um dos grandes avanço da TRI é a possibilidade de criar escalas onde itens e respondentes são posicionados simultaneamente, o que permite a interpretação dessa escala. O objetivo desse artigo é apresentar uma discussão sobre a Teoria da Resposta ao Item como método para a construção de escalas, mostrando como a TRI pode contribuir para a criação de escalas na área de Gestão e mostrando algumas escalas criadas por meio da TRI no Brasil nas áreas relacionadas com a Gestão. Embora seja comentado entre os diversos tipos de modelos da TRI, esse trabalho enfatiza os modelos unidimensionais da TRI (um único traço latente), que são os modelos utilizados pelos pesquisadores da área da Gestão, no Brasil

Contribuições da Teoria da Resposta ao Item nas Avaliações Educacionais

http://dx.doi.org/10.5902/2179460X13120For a long time, psychologists and educators, care to design, develop and implement evaluation methods that represent as closely as possible the learning results. Initially, evaluations were based on scores from the called Classical Test Theory (CTT) and Classical Theory of Measure (TCM). In this context arises the Item Response Theory (IRT), a powerful statistical tool that can meet the needs arising from the limitations of TCT. The purpose of this paper is to present the main contributions of Item Response Theory in relation to classical test theory, in the context of educational evaluations, and present an illustration of these contributions IRT, through simulations.Por muito tempo, pedagogos, psicólogos e educadores em geral, se preocupam em conceber, desenvolver e aplicar métodos avaliativos que representem de forma mais fiel possível os resultados da aprendizagem. Inicialmente, as avaliações eram baseadas em escores provenientes da chamada Teoria Clássica dos Testes (TCT) ou Teoria Clássica da Medida (TCM). Nesse contexto, surge a Teoria da Resposta ao Item (TRI), uma poderosa ferramenta estatística que consegue suprir as necessidades decorrentes das limitações da TCT. O objetivo desse artigo é apresentar as principais contribuições da Teoria da Resposta ao Item em relação à Teoria Clássica dos Testes, no contexto das avaliações educacionais, e apresentar uma ilustração dessas contribuições da TRI, por meio de simulações

A CONSTRUÇÃO DE UM DATA WAREHOUSE UTILIZANDO OS INDICADORES EDUCACIONAIS DO INEP

This research in the area of education and new technologies applied in school management, aims to develop a methodology to import the educational indicators made available by the National Institute of Educational Studies and Research Anísio Teixeira (INEP) into a data repository and also present a set of techniques and tools of Business Intelligence, to unravel this set of data in information. The nature of this study is an applied research, carried out with the municipal school managers of Santa Maria, RS, using the Data Warehouse (DW) technology. Thus, it reports an exploratory research, with a quantitative approach, which uses action research as a method to develop a product that facilitates the extraction and use of INEP indicators. For this, the use of the product with this public was evaluated, in order to validate the management proposal, seeking an analysis of the contribution provided by the visualization of these indicators in significant information, in order to subsidize the decision making by the municipal school managers. The results show that the product transformed data into knowledge and contributes as a support tool for the development of strategies to be applied in schools, seeking improvements in the quality of teaching with a focus on student learning. In summary, the project proposal presented the steps for the creation of DW with INEP indicators, instigating the use of digital technologies in school management through the blog developed for managers, which provides a set of dashboards with these indicators.Esta investigación en el área de la educación y las nuevas tecnologías aplicadas en la gestión escolar, tiene como objetivo desarrollar una metodología para importar los indicadores educativos puestos a disposición por el Instituto Nacional de Estudios e Investigaciones Educativas Anísio Teixeira (INEP) a un repositorio de datos y también presentar un conjunto de técnicas y herramientas de Business Intelligence, para desentrañar este conjunto de datos en información. La naturaleza de este estudio es una investigación aplicada, realizada con los directores de las escuelas municipales de Santa Maria, RS, utilizando la tecnología Data Warehouse (DW). Así, informa una investigación exploratoria, con enfoque cuantitativo, que utiliza la investigación acción como método para desarrollar un producto que facilite la extracción y uso de indicadores del INEP. Para ello, se evaluó el uso del producto con este público, con el fin de validar la propuesta de gestión, buscando un análisis del aporte que brinda la visualización de estos indicadores en información significativa, con el fin de subsidiar la toma de decisiones por parte de la escuela municipal. gerentes. Los resultados muestran que el producto transformó los datos en conocimiento y contribuye como una herramienta de apoyo para el desarrollo de estrategias a aplicar en las escuelas, buscando mejoras en la calidad de la enseñanza con un enfoque en el aprendizaje de los estudiantes. En resumen, la propuesta de proyecto presentó los pasos para la creación de DW con indicadores INEP, instigando el uso de tecnologías digitales en la gestión escolar a través del blog desarrollado para gerentes, que brinda un conjunto de dashboards de mando con estos indicadores.Esta pesquisa na área da educação e das novas tecnologias aplicadas na gestão escolar, tem objetivo desenvolver uma metodologia para importar os indicadores educacionais disponibilizados pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) para um repositório de dados e, também, apresentar um conjunto de técnicas e ferramentas de Business Intelligence, para desvendar este conjunto de dados em informações. A natureza deste estudo é uma pesquisa aplicada, realizada com os gestores escolares municipais de Santa Maria, RS, utilizando a tecnologia de Data Warehouse (DW). Assim, reporta uma pesquisa exploratória, de abordagem quantitativa, que utiliza como método a pesquisa-ação para elaborar um produto que facilite a extração e a utilização dos indicadores do INEP. Para isso, avaliou-se a utilização do produto com este público, a fim de validar a proposta de gestão, buscando uma análise da contribuição proporcionada pela visualização destes indicadores em informações significativas, com o intuito de subsidiar tomada a decisão dos gestores escolares municipais. Os resultados evidenciam que o produto transformou dados em conhecimento e contribui como instrumento de apoio para a elaboração das estratégias a ser aplicada nas escolas, buscando melhorias na qualidade do ensino com foco no aprendiz do aluno. Em síntese, a proposta do projeto apresentou as etapas para a criação de DW com os indicadores do INEP, instigando o uso de tecnologias digitais na gestão escolar por meio do blog desenvolvido para os gestores, que disponibilizam um conjunto de dashboards com esses indicadores

Análise multivariada de dados socieconômicos: um retrato da modernização agropecuária nos COREDEs do Rio Grande do Sul

O processo de modernização da agropecuária brasileira ganhou expressão doravante a organização do sistema financeiro e criação de mecanismos voltados para a oferta de crédito rural nos anos 1960. O resultado desse processo no Rio Grande do Sul (RS) se deu de forma heterogênea nas diferentes regiões do estado. A utilização da estatística multivariada permite identificar os diversos níveis de modernização na agropecuária dos Conselhos Regionais de Desenvolvimento (COREDEs) agrícolas em 1995/96. No Rio Grande do Sul, o então estágio de modernização confirma uma hipótese pela evidente concentração da agropecuária extensiva no grupo formado pelos municípios do COREDE Fronteira Oeste. Contudo, um segundo grupo apresentou uma agricultura moderna e extensiva, mas com menor relação com a criação de gado. O terceiro grupo de municipios demonstrou evidência de transição da agricultura mais tradicional para um padrão diferenciado e caracterizado pela inclusão de insumos modernos. Um último grupo, e de tamanho considerável, teve em comum o padrão agropecuário mais tradicional

Estimação da Usabilidade de Sites e-commerce Pelo Método da Máxima Verossimilhança

This article investigates the performance of Maximum Likelihood (ML)method to estimate the usability of e-commerce sites and compares theperformance between the software Bilog-MG ® and Excel ® in theestimation of these usability. For this, we used real data from a study onthe degree of usability of 361 e-commerce sites, which were applied 32items calibrated by the unidimensional logistic model of two parameters(MLU2) of Item Response Theory (IRT). The estimation process by MLwas developed in BILOG® and Excel® softwares. The results showedthat the ML method is flawed when there is a constant pattern of response,which may occur during application of the first items on the questionnaire.However, the method performs well when the pattern of responses is notconstant. Moreover, process performance prepared in Excel® was betterthan in conventional software BILOG-MG®. The parameters of the itemsalso influence the estimation of ML.O presente artigo investiga o desempenho do método da Máxima Verossimilhança (MV) na estimação da usabilidade de sites e-commerce e compara o desempenho entre os Softwares BILOG-MG® e Excel® na estimação dessas usabilidades. Para isso, foram utilizados dados reais de um estudo sobre o grau de usabilidade de 361 sites de e-commerce, no qual foram aplicados 32 itens calibrados por meio do modelo logístico unidimensional de dois parâmetros (MLU2) da Teoria da Resposta ao Item (TRI). O processo de estimação da usabilidade por MV foi feito nos softwares BILOG-MG® e Excel®. Os resultados mostraram que o método de MV apresenta deficiências quando existe um padrão de resposta constante, o que pode ocorrer durante a aplicação dos primeiros itens do questionário. Entretanto, o método apresenta um bom desempenho quando o padrão de respostas não é constante. Além disso, o desempenho do processo elaborado no Excel® foi melhor do que no software convencional BILOG-MG®. Os parâmetros dos itens também influenciam a estimação por MV

Utilização da Teoria da Resposta ao Item na Análise do Instrumento da Autoavaliação Institucional na Pós-graduação da UFSM

O objetivo desse trabalho é avaliar a qualidade dos itens do instrumento da Autoavaliação Institucional aplicado aos discentes dos Cursos de Pós-Graduação de todos os Campi da Universidade Federal de Santa Maria (UFSM), no período de 26 de Setembro a 31 de Outubro de 2016. Para a análise do instrumento utilizou-se a Teoria da Resposta ao Item (TRI), por meio do Modelo Logístico Unidimesional de dois Parâmetros (MLU2P). O estudo mostrou que todos os itens desse instrumento  são adequados e consistentes, pois apresentam bom poder discriminatório e se posicionam dentro do intervalo esperado de variação. Percebeu-se que os itens que compõem esse instrumento são, em geral, fáceis de serem bem avaliados, segundo os resultados obtidos. Foi possível criar uma escala interpretável de medida com três níveis distintos. Concluiu-se que o instrumento utilizado é adequado para estimar os discentes que avaliam bem ou de forma razoável a instituição, porém o instrumento não consegue estimar com precisão os discentes que avaliam muito bem ou muito mal a instituição.

Uma aplicação da Teoria da Resposta ao Item na avaliação do ENADE do curso de Administração

Traditionally considering gross or standardized scores as the result of an individual's assessment or selection is a common fact. However, the results obtained depend on the items or questions that compose the evaluation instruments. Model applications that provide a better interpretability of the evaluative instrument, the Item Response Theory (IRT) allows to measure the latent trait of individuals, that is, characteristics that cannot be directly observed. The National Assessment of Student Achievement (ENADE) aims to assess the performance of undergraduate students in relation to syllabus, their skills and competences. Its results provide important data in the educational field, building references that allow the definition of actions aimed at improving the quality of undergraduate courses. This article presents an analysis of the 2009 ENADE test that was answered by 231.531 new and graduating students of the Business Administration course of several institutions in the country through the IRT. It was possible to verify the feasibility of using the IRT as an instrument to measure ENADE items, as well as the occurrence of a latent trait gain between incoming and graduating students, showing that the graduates at the end of the academic period had average latent trait superior to newcomers and somehow built up academic skills.Tradicionalmente considerar os escores brutos ou padronizados como o resultado de uma avaliação ou seleção de certo indivíduo é um fato comum. No entanto, os resultados obtidos dependem dos itens ou questões que compõem os instrumentos avaliativos. No que diz respeito a aplicações de modelos que forneçam uma melhor interpretabilidade do instrumento avaliativo, a Teoria da Resposta ao Item (TRI) permite mensurar o traço latente dos indivíduos, ou seja, características que não podem ser observadas diretamente. O Exame Nacional de Desempenho de Estudantes (ENADE), tem o objetivo de aferir o rendimento dos alunos dos cursos de graduação em relação aos conteúdos programáticos, suas habilidades e competências. O presente artigo exibe uma análise da prova do ENADE de 2009 que foi respondida por 231.531 alunos ingressantes e concluintes do curso de Administração de diversas instituições do país por meio da TRI. Foi possível verificar a viabilidade do uso da TRI como instrumento de medida de avaliação dos itens do ENADE, assim como a ocorrência de um ganho em termos de traço latente entre alunos ingressantes e concluintes, mostrando que os concluintes ao término do período acadêmico, tiveram em média um traço latente superior aos ingressantes e construíram de certa forma habilidades acadêmicas

Atitude do professor em relação à estatística: um estudo de caso utilizando a ferramenta EAPE

Teachers' attitudes influence both in and outside the classroom through their expectations of students as well as their behavior. The purpose of this article is to know the attitudes of professors of the Statistics Department of a University of south of Brazil, using the Statistical Teachers Attitude Scale (EAPE) and its updated version, the EAPE15. This research is classified as descriptive and exploratory. EAPE and EAPE15 were used in a case study where the data were analyzed through descriptive and correlation analysis. Finally, the study showed that teachers have favorable attitudes towards teaching statistics involving all domains of analysis of the EAPE and EAPE15.As atitudes dos professores influenciam tanto em sala de aula, como também fora dela, por meio das expectativas deles em relação aos alunos, quanto também ao comportamento em relação aos mesmos. O objetivo desse artigo é conhecer as atitudes de professores do Departamento de Estatística de uma Universidade do sul do Brasil, utilizando a Escala de Atitude de Professores de Estatística (EAPE) e sua versão atualizada, a EAPE15. Essa pesquisa classifica-se como descritiva e exploratória. Utilizou-se da EAPE e da EAPE15 em um estudo de caso onde os dados foram analisados através das análises descritiva e de correlação. O estudo demonstrou que os professores têm atitudes favoráveis ao ensino da estatística envolvendo todos os domínios de analise das ferramentas EAPE e EAPE15

Previsão da taxa de incidência dos casos de AIDS no município de Santa Maria – RS

The spread of AIDS was a striking social fact in the late twentieth century, mainly due to the lack of knowledge of sexually active people and drug users, spreading rapidly across five continents. Initially, it was associated with the group of male homosexuals. Over the years, other population segments became infected with the Human Immunodeficiency Virus (HIV). Thus, this article aims to compare forecasting methodologies to predict the incidence rate of AIDS per 100,000 inhabitants in Santa Maria between 2017 and 2022. For this purpose, two forecasting models were adjusted for each series (polynomial trend model plus an ARIMA model (p, d, q), and an exponential smoothing model). As the series show structural breakdowns due to various historical events in Brazil and around the world, prediction combinations methodologies were used through robust regressions, using the Weighted Least Squares, MM and Quantile Regression methods. We verified through the accuracy measures that, for men, the best forecasting methodologies were Model 1 and the regression forecast combinations, using the MM and RQ methods. For women, the best methodologies were Model 1 and regression prediction combinations by the RQ method.A disseminação da AIDS foi um fato social marcante no final do século XX, devido principalmente à falta de conhecimento das pessoas sexualmente ativas e usuários de drogas, alastrando-se rapidamente pelos cinco continentes. Inicialmente, estava associada ao grupo dos homossexuais masculinos. Com o passar dos anos, outros segmentos populacionais infectaram-se com o Vírus da Imunodeficiência Humana (HIV). Assim, este artigo tem como objetivo comparar metodologias de previsão, para prever a taxa de incidência de AIDS a cada 100 mil habitantes, em homens e mulheres em Santa Maria, entre 2017 a 2022. Para isto, foram ajustados dois modelos de previsões para cada série (modelo de tendência polinomial mais um modelo ARIMA(p,d,q), e um modelo de Suavização Exponencial). Como as séries apresentam quebras estruturais devido à vários acontecimentos históricos no Brasil e no mundo, foram utilizadas metodologias de combinações de previsão através de regressões robustas, pelos métodos dos Mínimos Quadrados Ponderados, MM e Regressão Quantílica. Verificamos através das medidas de acurácia que, para os homens as melhores metodologias para previsão foi o Modelo 1 e as combinações de previsão por regressão, pelos métodos de MM e RQ. Já para as mulheres as melhores metodologias foram o Modelo 1 e as combinações de previsão por regressão, pelo método de RQ