Detecting when students game the system, across tutor subjects and classroom cohorts

Abstract. Building a generalizable detector of student behavior within intelligent tutoring systems presents two challenges: transferring between different cohorts of students (who may develop idiosyncratic strategies of use), and transferring between different tutor lessons (which may have considerable variation in their interfaces, making cognitively equivalent behaviors appear quite different within log files). In this paper, we present a machine-learned detector which identifies students who are “gaming the system”, attempting to complete problems with minimal cognitive effort, and determine that the detector transfers successfully across student cohorts but less successfully across tutor lessons. 1 Introduction and Prior Work In the last couple of decades, there has been considerable work in creating educational systems that adapt to their users – offering help and feedback targeted to a student’s specific cognitive or motivational needs. However, just as educational systems can adapt to their users, users can adapt to their educational systems

BeSocratic: An Intelligent Tutoring System for the Recognition, Evaluation, and Analysis of Free-form Student Input

This dissertation describes a novel intelligent tutoring system, BeSocratic, which aims to help fill the gap between simple multiple-choice systems and free-response systems. BeSocratic focuses on targeting questions that are free-form in nature yet defined to the point which allows for automatic evaluation and analysis. The system includes a set of modules which provide instructors with tools to assess student performance. Beyond text boxes and multiple-choice questions, BeSocratic contains several modules that recognize, evaluate, provide feedback, and analyze student-drawn structures, including Euclidean graphs, chemistry molecules, computer science graphs, and simple drawings. Our system uses a visual, rule-based authoring system which enables the creation of activities for use within science, technology, engineering, and mathematics classrooms. BeSocratic records each action that students make within the system. Using a set of post-analysis tools, teachers have the ability to examine both individual and group performances. We accomplish this using hidden Markov model-based clustering techniques and visualizations. These visualizations can help teachers quickly identify common strategies and errors for large groups of students. Furthermore, analysis results can be used directly to improve activities through advanced detection of student errors and refined feedback. BeSocratic activities have been created and tested at several universities. We report specific results from several activities, and discuss how BeSocratic\u27s analysis tools are being used with data from other systems. We specifically detail two chemistry activities and one computer science activity: (1) an activity focused on improving mechanism use, (2) an activity which assesses student understanding of Gibbs energy, and (3) an activity which teaches students the fundamentals of splay trees. In addition to analyzing data collected from students within BeSocratic, we share our visualizations and results from analyzing data gathered with another educational system, PhET

Adaptive intelligent tutoring for teaching modern standard Arabic

A thesis submitted to the University of Bedfordshire, in partial fulfilment of the requirements for the degree of Doctor of PhilosophyThe aim of this PhD thesis is to develop a framework for adaptive intelligent tutoring systems (ITS) in the domain of Modern Standard Arabic language. This framework will comprise of a new approach to using a fuzzy inference mechanism and generic rules in guiding the learning process. In addition, the framework will demonstrate another contribution in which the system can be adapted to be used in the teaching of different languages. A prototype system will be developed to demonstrate these features. This system is targeted at adult English-speaking casual learners with no pre-knowledge of the Arabic language. It will consist of two parts: an ITS for learners to use and a teachers‘ tool for configuring and customising the teaching rules and artificial intelligence components among other configuration operations. The system also provides a diverse teaching-strategies‘ environment based on multiple instructional strategies. This approach is based on general rules that provide means to a reconfigurable prediction. The ITS determines the learner‘s learning characteristics using multiple fuzzy inferences. It has a reconfigurable design that can be altered by the teacher at runtime via a teacher-interface. A framework for an independent domain (i.e. pluggable-domain) for foreign language tutoring systems is introduced in this research. This approach allows the system to adapt to the teaching of a different language with little changes required. Such a feature has the advantages of reducing the time and cost required for building intelligent language tutoring systems. To evaluate the proposed system, two experiments are conducted with two versions of the software: the ITS and a cut down version with no artificial intelligence components. The learners used the ITS had shown an increase in scores between the post-test and the pre-test with learning gain of 35% compared to 25% of the learners from the cut down version

Estudios sobre la enseñanza y aprendizaje de la resolución aritmética de problemas usando un sistema tutorial inteligente

La resolución de problemas siempre ha ocupado un lugar importante en los currículos de matemáticas tanto en educación primaria como en educación secundaria. Un tipo de problemas, particularmente frecuente, son aquellos en los que la información viene dada mediante una narración en la que se describen situaciones cotidianas en las que participan cantidades. Estos problemas verbales son unos de los primeros a los que se enfrentan los estudiantes en su etapa escolar y que los acompañan hasta la finalización de la etapa secundaria. De manera general, los resultados mostrados en el estudio PISA (OECD, 2014a) ponen de manifiesto que la resolución de problemas matemáticos escolares y los problemas de la vida real son algunas de las áreas en las que los estudiantes españoles muestran un menor rendimiento. También se constata que, los estudiantes españoles obtienen una media en resolución de problemas inferior a lo esperado, si se toma como referente su rendimiento en matemáticas (OECD, 2014a). Esta diferencia de resultados indica que el potencial de los estudiantes como resolutores de problemas no es desarrollado completamente desde la asignatura de matemáticas. Es durante la enseñanza primaria, cuando los estudiantes aprenden a resolver los problemas verbales de forma aritmética. Inicialmente se introducen los problemas que se resuelven mediante una operación de suma o resta, más conocidos como problemas aditivos de una etapa. A pesar de su aparente sencillez, estos problemas ya suponen una primera importante fuente de dificultades asociadas a las características del propio sujeto o de la propia tarea. Dentro de los estudios dirigidos a determinar la influencia de la tarea, la clasificación semántica de los problemas de una etapa, que son los primeros problemas que se ofrecen en los sistemas educativos, se ha demostrado como una herramienta sólida a la hora de proporcionar una predicción de la dificultad esperada (Durand y Vergnaud, 1976; Carpenter, Hiebert y Moser, 1981; Nesher, Greeno y Riley, 1982; Riley, Greeno y Heller, 1983; Marshall, Pribe y Smith, 1987; Puig y Cerdán, 1988; Vergnaud, 1983; Bell, Fischbein y Greer, 1984; Nesher, 1982, 1988a; Schmidt y Weiser, 1995; Nathan, Kintsch y Young, 1992). Es por ello que el marco teórico de la presente investigación lo hemos querido articular en torno a dos ejes: a) la resolución aritmética de problemas verbales exige desencadenar procesos cognitivos analítico-sintéticos ordenados (Bogolyubov 1972a; Kalmykova, 1975; Puig y Cerdán, 1988); b) estos episodios analítico-sintéticos se apoyan sobre un conjunto finito de esquemas conceptuales (Riley et al., 1983). Para poder responder al primer eje, tomaremos el método de análisis-síntesis como marco conceptual y aquellas investigaciones que lo proponen como método heurístico en la resolución aritmética de problemas verbales de varias etapas. Este método se divide en dos fases entrelazadas en el que el análisis nos va a proporcionar el plan de actuación, mientras que en la síntesis se va a ejecutar ese plan, lo que nos va a llevar desde los datos a la incógnita del problema. Con respecto al segundo eje de nuestra propuesta, partiremos de la hipótesis de que, para establecer las relaciones en cada una de las etapas del proceso de análisis anteriormente descrito, el resolutor utilizará esquemas conceptuales y supondremos que estos esquemas conceptuales son los mismos que se encuentran en los problemas verbales de una etapa. En este caso, podríamos asociar el esquema conceptual con la categoría semántica de los problemas aditivos y multiplicativos de una etapa. Extendiendo la idea, el entramado de relaciones matemáticas de un problema multietapa puede ser descrito como el resultado de aplicar una colección de esquemas conceptuales (Arnau, 2015). Por otra parte, la introducción de las computadoras y otras herramientas electrónicas en el ámbito educativo supuso una oportunidad para abordar las dificultades que presentaban los estudiantes en las diferentes áreas de la matemática (Kodippili y Senaratne, 2008; Sangwin, Cazes, Lee y Wong, 2010 y Leigh-Lancaster, 2010). Actualmente, estos sistemas deberían intentan emular algunas de las tareas que realizaría un tutor humano cuando un estudiante encuentra alguna dificultad durante el proceso de resolución (Arnau, Arevalillo-Herraez, González-Calero, 2014). Como se apunta en Arnau et al. (2014) los ITS desarrollados en el campo de la resolución de problemas verbales no han sido capaces de implementar simultáneamente dos aspectos que son necesarios en la tutorización. Por un lado, dotar al sistema de la capacidad de tutorizar el proceso con independencia de las decisiones del resolutor y, por otro, permitir la máxima flexibilidad al resolutor en la toma de decisiones. En este sentido, nuestro sistema HINTS puede proporcionar distintos niveles de información y ayuda gracias a disponer de una interfaz configurable (González-Calero, Arnau, Puig y Arevalillo-Herraez, 2015). Por todo esto, planteamos una investigación en la que vamos a estudiar la enseñanza de la resolución aritmética de problemas verbales y las dificultades que encuentran los estudiantes cuando los resuelven

La enseñanza de la resolución algebraica de problemas verbales mediante un sistema tutorial inteligente

La tecnología se ha considerado habitualmente (quizá con frecuencia, sin una base teórica sólida) un instrumento facilitador del aprendizaje en prácticamente cualquier ámbito educativo. En este sentido, los sistemas tutoriales inteligentes (en adelante, STI) destacan por las grandes expectativas que generaron en su nacimiento, basadas en las posibilidades didácticas que ofrecen la situaciones de enseñanza uno a uno (un profesor para un estudiante). El campo de la enseñanza de la resolución algebraica de problemas verbales, en el que se centra el presente trabajo, no es una excepción. De hecho, el uso de entornos informáticos para la enseñanza y aprendizaje de la resolución de problemas verbales ha sido un tema habitual de investigación en la Matemática Educativa. Algunos de estos programas han pretendido sustituir el papel del profesor; otros ofrecían entornos en los que el resolutor podía recurrir a distintos sistemas de representación o podía liberarse de tareas rutinarias como el cálculo de operaciones aritméticas. Numerosos estudios han descrito entornos que tenían este propósito y las consecuencias de su uso con intenciones educativas. Algunos ejemplos serían: Word Problem Assistant (Thompson, 1989), ANIMATE (Nathan, 1990), HERON (Reusser, 1993), PAT (Koedinger y Anderson, 1998), AnimalWatch (Beal & Arroyo, 2002) y MathCAL (Chang, Sung y Lin, 2006). En Arnau, Arevalillo-Hérraez y Puig (2011) se señalaba que los entornos interactivos de aprendizaje (entre los que incluirían los STI) para la resolución de problemas verbales diseñados hasta esa fecha, no habían conseguido conjugar flexibilidad a la hora de permitir que el resolutor pueda decidir seguir caminos distintos y poder verificar sus acciones. Entre aquellos que tutorizaban realmente el proceso de resolución, la falta de flexibilidad se reflejaba en: un problema se asociaba a una solución; una cantidad se asociaba a una expresión; y cada problema se asociaba a unos mensajes de error. Estas limitaciones de los sistemas existentes podrían constituir una explicación al hecho de que el impacto educativo de los STI no hubiera sido tan elevado como se prevía en un principio. Ante este panorama, nuestra investigación pretendía dar respuesta a dos preguntas: 1) ¿Cómo influye la enseñanza de la resolución algebraica de problemas verbales mediante un sistema tutorial inteligente en la competencia de estudiantes de secundaria cuando resuelven problemas verbales en lápiz y papel? 2) ¿Cuáles son las actuaciones de los estudiantes cuando resuelven problemas verbales en un sistema tutorial inteligente tras haber sido instruidos previamente en la resolución algebraica de problemas verbales mediante dicho sistema? En la investigación se utilizó el STI Hypergraph Based Problem Solver (en adelante, HBPS) (Arnau et al., 2011; Arnau, Arevalillo-Herráez, Puig y González-Calero, 2013). Este STI se caracteriza por ser capaz de supervisar la resolución de problemas verbales aritmético-algebraicos. A diferencia de otros sistemas, HBPS ofrece una mayor flexibilidad respecto a la toma de decisiones del resolutor. En concreto, en relación con la flexibilidad frente a las acciones del resolutor, HBPS satisface los siguientes criterios: Independencia respecto al método de resolución. El problema permite resolver problemas de manera aritmética y de manera algebraica. Independencia respecto al uso de una o más ecuaciones. Cuando se resuelve de manera algebraica, es posible el uso de una o más letras y el consiguiente recurso a una o más ecuaciones. Independencia entre cantidad y su representación. El programa no supone una asignación predeterminada entre una cantidad y su representación, sino que comprueba la validez de una expresión atendiendo a las restricciones del problema y a las decisiones del resolutor. Independencia de funcionamiento del STI respecto del problema. La verificación de la validez de las expresiones matemáticas que se introducen y los mensajes (básicos) de error y ayuda que proporcionará el STI son independientes del problema concreto que se está resolviendo. (Arnau et al., 2011, p. 259) La investigación se organizó alrededor del marco teórico y metodológico que ofrecen los Modelos Teóricos Locales (Filloy, 1999; Filloy, Rojano y Puig, 2008, Kieran y Filloy, 1989). Este marco es especialmente adecuado para el estudio de fenómenos de aprendizaje al tomar en consideración los elementos esenciales de todo proceso de enseñanza y aprendizaje. Estos elementos son considerados al construirse: un modelo de enseñanza, un modelo de actuación, un modelo de competencia formal y un modelo de comunicación. En concreto, en relación con el modelo de competencia, nuestro estudio requería recoger dos aspectos fundamentales: por un lado, la resolución algebraica de problemas verbales en lápiz y papel, y por otro, la resolución algebraica de problemas verbales en el STI. Para ello, el estudio toma como modelo de referencia en la resolución algebraica de problemas verbales aritmético-algebraicos, el método cartesiano. A partir de este método, se determinó el modelo de competencia para la resolución algebraica de problemas verbales en HBPS, prestando especial a cómo se ven afectados los diferentes elementos de competencia a la hora de resolver un problema verbal en el entorno de resolución de HBPS en comparación con las resoluciones en lápiz y papel. En cuanto al modelo de enseñanza, se requería construir una secuencia de enseñanza sobre la resolución algebraica de problemas verbales en HBPS, comparable con una secuencia de enseñanza paralela a desarrollar en lápiz y papel. La población de esta investigación estaba formada por un grupo de 56 estudiantes de cuarto curso de Educación Secundaria Obligatoria de un centro público de Castilla-La Mancha. Los estudiantes tenían una edad de entre 15 y 16 años. La elección de la población y del momento de observación respondió a nuestro propósito de trabajar con estudiantes previamente instruidos en la resolución algebraica de problemas verbales pero que aún no hubieran alcanzado plena competencia en el campo. Con el propósito de dar respuesta a la primera pregunta de investigación, realizamos un estudio de grupo. En esta fase la población fue dividida en tres grupos de trabajo, los cuales fueron instruidos mediante secuencias de enseñanza diferentes. La secuenciación de esta fase experimental fue idéntica en los tres grupos: 1) realización de un cuestionario inicial, 2) secuencia de enseñanza y, 3) realización de un cuestionario final. En los tres grupos se emplearon los mismos problemas durante la secuencia de enseñanza. De la misma manera, los cuestionarios inicial y final fueron los mismos en los diferentes grupos. Los problemas de los cuestionarios inicial y final eran isomorfos entre sí y estructuralmente distintos a los empleados en las secuencias de enseñanza. La secuencia de enseñanza fue el único elemento que difirió para cada uno de los grupos. En los tres grupos, la enseñanza estuvo prácticamente limitada a los estudiantes resolvieran una colección de problemas sin ayuda humana. Un grupo de estudiantes fue instruido íntegramente en lápiz y papel (grupo PP); otro grupo trabajó con una versión con todas las funcionalidades de HBPS (grupo CT); y un tercer grupo trabajó con una versión limitada del sistema la cual no proporcionaban ayudas explícitas (grupo RT). En concreto, la versión con la que trabajó el grupo CT se caracterizaba porque el tutor ofrecía un conjunto de estrategias que asistían el proceso de resolución y, cuando el usuario lo socilitaba, estas ayudas permitían siempre completar el proceso al recibir información explícita sobre cómo completar el siguiente paso. En cambio, la versión del grupo RT ofrecía estrategias de ayuda pero no hasta el grado de informar al usuario de qué acción debía acometer. En ambas versiones, el sistema, apoyándose en el método cartesiano, ofrecía al usuario una estructuración del proceso de resolución y validaba en cada momento la corrección de las acciones del usuario. Sin embargo, sólo en el grupo CT, HBPS ofrecía ayudas bajo solicitud. Estas pistas siguen una estructura de tres niveles. En el primer nivel, el sistema provee ayudas para asistir al usuario con el método de resolución pero sin aportar información relacionada con el contenido del problema. En los niveles segundo y tercero, los mensajes de ayuda están relacionados directamente con el contenido del problema. Dado que el estudio de grupo pretendía determinar el efecto de los distintos tipos de enseñanza en la competencia de los estudiantes para resolver problemas verbales de manera algebraica, se analizó el número de problemas que eran capaces de resolver correctamente antes de ser instruidos mediante la secuencia de enseñanza correspondiente e inmediatamente después. Los resultados del estudio de grupo muestran una mejora estadísticamente significativa en la competencia en la resolución algebraica de problemas verbales en lápiz y papel en el grupo CT en comparación con los grupos RT y PP. A pesar de la existencia de estudios que señalan que los sistemas que ofrecen demasiadas ayudas al resolutor, pueden generar escaso aprendizaje (p.ej. Baker, Corbett, Koedinger and Wagner, 2004; Shute, Woltz and Regian, 1989; Walonoski and Heffernan, 2006), los resultados del estudio de grupo apuntan a que el mayor nivel de ayudas ofrecido al grupo CT, produjo un incremento mayor de la competencia en la resolución algebraica de problemas verbales. Estos resultados descartan la posibilidad de que los estudiantes del grupo CT emplearan intensivamente estrategias de gaming a lo largo de la secuencia de enseñanza. Esta posibilidad es un riesgo siempre asociado a los STI que ofrecen alto nivel de ayudas y una tutorización fina de las acciones del usuario. En líneas generales, estos resultados confirman la tesis de Koedinger y Aleven (2007) sobre que la tutorización efectiva está más ligada a estrategias que facilitan información que a aquellos métodos que intentan restringir las ayudas. A su vez, el estudio de grupos no mostró diferencias significativas entre los grupos PP y RT. Este hecho parece señalar que la mera estructuración y secuenciación de los pasos ideales que ha de acometer un resolutor para resolver un problema verbal, no es por sí suficiente para generar una mejora en la competencia de la resolución algebraica de este tipo de problemas. El estudio de grupos también se utilizó con el objeto de clasificar a los estudiantes pertenecientes a los grupos que trabajaron con HBPS durante la secuencia de enseñanza (grupos CT y RT) y, así, poder seleccionar las parejas que participarían en la siguiente fase de la investigación: el estudio de casos. Esta fase tenía el propósito de dar respuesta a la segunda de las preguntas de investigación. Así, el estudio de casos pretendía describir y analizar las actuaciones de los estudiantes cuando resolvían problemas verbales aritmético-algebraicos usando el tutor HBPS, considerando tanto las estrategias de resolución correctas como incorrectas. Siete de parejas de estudiantes participaron en esta fase de la experimentación. Cada una de ellas abordó un número variable de problemas, en función de los que fueran capaces de resolver en el tiempo asignado a cada pareja para el estudio de casos (aprox. 35 minutos). Básicamente los problemas propuestos en esta fase fueron seleccionados del estudio de grupo. De hecho, uno de los criterios utilizados para la formación de las parejas fue agrupar a estudiantes que hubieran tenido dificultades en los mismos problemas del cuestionario final del estudio de grupo. Entre el catálogo de actuaciones de los estudiantes construido a raíz del estudio de casos, destacamos las siguientes: 1) la dificultad para interpretar los nombres de las cantidades que propone HBPS; 2) el nombrado inapropiado de cantidades en el transcurso del proceso de resolución; 3) la dificultad para interpretar globalmente la red de relaciones descrita en un enunciado; 4) la tendencia a designar mediante una letra la cantidad por la que se pregunta en el enunciado y cómo esto se puede traducir en dificultades en el paso cuarto del método cartesiano; 5) la tendencia a recurrir a procesos de traducción directa desde fragmentos del enunciado en lenguaje natural al lenguaje algebraico, favoreciéndose la comisión de errores de inversión; 6) la tendencia a construir ecuaciones en la forma x = f (x), en ocasiones bajo la interpretación errónea de que una ecuación constituye una fórmula para el cálculo directo de la incógnita; y, 7) la interpretación de la ecuación como una asociación entre cantidades. Así como el estudio de grupo apunta a que HBPS puede ser instrumento útil en la enseñanza de la resolución algebraica de los problemas verbales, el estudio de casos también pone de manifiesto la aparición de actuaciones indeseadas cuando estudiantes de secundaria resuelven problemas en dicho entorno. Algunas de estas actuaciones podrían tener su origen en las características de diseño de HBPS y deben ser tomados en consideración a la hora de desarrollar nuevas versiones del STI. A su vez, los resultados de esta investigación sugieren que la evolución de este sistema debe orientarse hacia un mayor nivel de adaptación a las características individuales de cada estudiante.Technology has usually been considered (perhaps with frequency, without a sound theoretical base) an instrument which facilitates learning in practically every educational field. In this respect, intelligent tutoring systems (ITS) stood out for the great expectations generated in their birth, based on the didactic possibilities that the one-to-one teaching situations offer (a teacher working with a single student). The field of algebraic solving of word problems, on which the present work is focused, is not an exception. In fact, the use of computer environments for the teaching and learning in the solving of word problems has been a regular topic of research in educational mathematics. Some of these programs have tried to replace some teacher¿s tasks; others offered environments in which the solver could recourse to different systems of representation or could get rid of monotonous tasks such as the calculation of arithmetic operations. Numerous studies have described environments that had this intention and the consequences of its use with educational aims. Some examples would be: Word Problem Assistant (Thompson, 1989), ANIMATE (Nathan, 1990), HERON (Reusser, 1993), PAT (Koedinger, & Anderson, 1998), AnimalWatch (Beal & Arroyo, 2002) and MathCAL (Chang, Sung, & Lin, 2006). Arnau, Arevalillo-Hérraez and Puig (2011) pointed out that the interactive learning environments (ITS would be included here) for the solving of word problems designed to that date, had not achieved to combine flexibility when allowing the solver to follow any valid resolution path and being able to verify their actions. Among those which actually supervised the solving process, the lack of flexibility was reflected in: a problem was associated with a resolution; a quantity was associated with an expression; and each problem was associated with some error messages. These limitations of the existing systems could constitute an explanation to the fact that the educational impact of the ITS would not have been as high as it was expected at first. In view of this outlook, this work intended to give an answer to two questions: 1) How does the teaching of algebraic solving of word problems by using an intelligent tutoring system influence the proficiency of secondary school students in solving word problems with pencil and paper? 2) What are the performances of students when they solve word problems in an intelligent tutoring system after being instructed in algebraic solving of word problems using the system? In this study, the ITS Hypergraph Based Problem Solver (HBPS) was used (Arnau et al., 2011; Arnau, Arevalillo-Herráez, Puig, & González-Calero, 2013). This ITS is characterized by being able to supervise the solving of arithmetic-algebraic word problems. Unlike other systems, HBPS offers a greater flexibility with regard to the decision-making of the solver. Concretely, and in relation to the flexibility in the supervision of solver¿s actions, HBPS meets the following criteria: - Independence with respect to the solving method. The ITS lets students solve problems in an arithmetical or an algebraic way. - Independence with respect to the use of one or a system of equations. When a problem is solved in an algebraic way, the use of one or more letters is possible and, consequently, the use of one or more equations. - Independence between quantity and its representation. The program does not store a predetermined assignment between a quantity and its representation, but it checks the validity of an expression in accordance with the problem restrictions and the solver¿s decisions. - Independence in the ITS operation with respect to the problem. The verification of the mathematical expressions that are introduced and the error and (basic) help messages that the ITS provides are independent of the specific problem that is being solved. (Arnau et al., 2011, p. 259) In this study, we adopt the theoretical and methodological perspective of Local Theoretical Models (LTM) (Filloy, 1999; Filloy, Rojano, & Puig, 2008, Kieran, & Filloy, 1989). This framework is especially suitable for the study of learning phenomena, considering the essential elements of the whole process of teaching and learning. These elements are considered in terms of four interrelated component: a teaching model, a model for the cognitive processes, a model of formal competence and a model of communication. To be precise, and in relation to the model of formal competence, our study required to embrace two fundamental aspects: on the one hand, the algebraic solving of word problems with pencil and paper, and on the other hand, the algebraic solving of word problems using the ITS. For this reason, the study takes the Cartesian Method (CM) as reference for the algebraic solving of arithmetic-algebraic word problems. From this method, the model of competence was determined for the algebraic solving of word problems in HBPS, paying special attention to how the different elements of competence are affected when solving a word problem in this environment in comparison with the pencil and paper environment. With regard to the teaching model, it was required to build a teaching sequence on the algebraic solving of word problems in HBPS, comparable to a parallel sequence of teaching to be developed with pencil and paper. With the aim of giving an answer to the first research question, we conducted a group study. The population of this study consisted of a group of 56 students in the fourth year of secondary school (15-16 years old) in a Spanish public secondary school. The choice of the population responded to our intention to work with students previously instructed in the algebraic solving of word problems but who would not had reached full competence in the field. At this stage, students were randomly divided into three groups; each of them was instructed using different teaching sequences. The sequencing at this experimental stage was identical in the three groups: 1) pre-test, 2) teaching sequence and, 3) post-test. The problems in pre and post-test and those that were used through the teaching sequence were the same in the three groups. All the problems used were characterized by being usually solved in an algebraic way. Each problem used in the post-test was isomorph to one of the problems in the pre-test, i.e. they had the same structure of relations in their analytical readings. In addition, problems of pre-test and post-test were structurally different from the ones used in the teaching sequences. In the three groups, the teaching was practically limited for students to solve a set of problems without any human help. A group of students was entirely taught in a paper and pencil environment (group PP); another group worked with a complete version of HBPS (group CT); and a third group worked with a limited version of the system that did not provide explicit helps (group RT). Being concrete, the version with which group CT worked offered a set of strategies to support the resolution process and, when demanded by the user, provided aids that always let the student continue the solving process informing him about how to perform the next step. However, the version of group RT offered support strategies but the user was never told exactly what to do in case of error. In both versions, the system offered to the user a structuring of the resolution process using the CM as skeleton and validated the correctness of the user¿s actions at each moment. Hints on demand provided by the complete version of HBPS follow a three-level structure. At the first level, the system provided aids about the resolution method with no information related to the problem content. At the second and third levels, help messages were contextualized within the problem being solved. In fact, at the last level, help messages offer the user detailed instructions about how to continue in the solving process. Given the fact that the group study tried to determine the effect of the different types of teaching on the students¿ proficiency of solving word problems in an algebraic way, the number of problems that students were able to be solved correctly before being instructed (pre-test) and immediately after (post-test) was analysed. The results of this study show a statistically