Limitações e desafios dos principais modelos de linguagem para escrita acadêmica e científica: uma revisão crítica baseada no “uso especializado”

Abstract

Desde 2022 el mundo científico ha acusado recibo del impacto que representó la masificación del ChatGPT. Su utilización, tanto en contextos científicos como académicos, ha despertado cuestionamientos acerca de problemas teóricos como la autoría de los trabajos escritos al menos parcialmente con esta tecnología, o desafíos prácticos, como la falta de adecuación a registros académicos que esta herramienta ofrece. El presente trabajo es una presentación ordenada de los problemas y límites del uso de grandes modelos de lenguaje en contextos académicos y científicos. Se sostiene sobre el análisis de veinte artículos científicos que reportan análisis sistemáticos de datos aportados por encuestas o bien por revisiones sistémicas de bibliografía. Optamos por dividir los contextos de uso en función del criterio del uso experto, que se define por la coincidencia de una alfabetización académica completa y el amplio dominio del campo acerca del cual se indaga al chatbot. Se referirá el problema del uso inexperto y algunos de sus alcances y se abordarán desafíos que presentan los textos producidos por chatbots que aparecen incluso en el uso experto: la falta de trazabilidad y los sesgos, las alucinaciones, el parroting, el plagio, el desarrollo argumentativo endeble y las exposiciones inconsistentes, incoherentes y contradictorias.Since 2022, the scientific world has acknowledged the impact of the massification of ChatGPT. Its use, both in scientific and academic contexts, has raised questions about theoretical problems such as the authorship of works written at least partially with this technology, and practical problems, such as the lack of adaptation of the texts to academic genres. The present article is an organized presentation of the problems and limits of the use of large language models in academic and scientific contexts. It is based on the analysis of twenty scientific papers that report systematic analysis of data provided by surveys or by systemic literature review. We chose to divide the contexts of use based on the criterion of expert use, which is defined by the convergence of a complete academic literacy and the broad domain of the field about which the chatbot is being inquired. We will address the untrained use and some of its problematic expressions, and we will also analyse the challenges presented by texts produced by chatbots that appear even in the presence of expert use: lack of traceability and biases, hallucinations, parroting, plagiarism, weak argumentative development and inconsistent, incoherent and contradictory expositions.Desde 2022, o mundo científico tem reconhecido o impacto da massificação do ChatGPT. Seu uso, tanto no contexto científico quanto académico, tem levantado questões sobre desafios teóricos, como a autoria de trabalhos escritos, pelo menos parcialmente, com essa tecnologia, além de desafios práticos, como a dificuldade de adaptação dessa ferramenta aos registros acadêmicos. O presente trabalho apresenta uma análise organizada dos problemas e limites do uso de grandes modelos de linguagem em contextos acadêmicos e científicos. Esta pesquisa baseia-se na revisão é análise de vinte artigos científicos que relatam análises sistemáticas de dados obtidos por meio de estudos empíricos ou por revisão sistemáticas da literatura. Optamos por categorizar os contextos de uso com base no critério de especialização, definido pela coincidência da alfabetização acadêmica completa e do amplo domínio da área sobre a qual o chatbot está sendo analisado. Finalmente, serão abordados os desafios apresentados pelos textos produzidos por chatbots, que surgem mesmo no uso especializado: falta de rastreabilidade e preconceitos, alucinações, parroting, plágio, fraco desenvolvimento argumentativo e exposições inconsistentes, incoerentes e contraditórias