Herramientas usadas para la evaluación formativa automatizada en cursos de programación asistidos por computadora

Introducción

Existen muchas herramientas para el aprendizaje de la programación, que brindan entornos de aprendizaje dinámicos para apoyar a los estudiantes, además de experiencia en los entornos de desarrollo y ejecución de tareas de programación, puesto que es una de las habilidades más demandadas en la actualidad por los estudiantes de ingeniería (McBroom et al., 2020). Muchas de las herramientas se han implementado como apoyo en las clases tradicionales de programación y otras como apoyo y factor clave en el desarrollo de cursos netamente virtuales. En la mayoría de los cursos, en los que se han implementado estas herramientas el aforo se encuentra entre 60 y 90 estudiantes de cursos presenciales asistidos por computadora (Razeeth et al., 2019).

Los estudiantes no solo necesitan la evaluación sumativa de las tareas de programación resueltas, necesitan saber si es posible mejorar la presentación enviada o saber que errores se cometieron en la entrega. A pesar, de que los esfuerzos y experimentos realizados con estas herramientas es eficaz para mejorar las habilidades en programación, se quedan cortos como herramientas de evaluación formativa debido a la limitada realimentación que ofrecen a los estudiantes, puesto que en su mayoría lo que se genera es la calificación a modo numérico o porcentual (Yong and Bedoya, 2022; Asadullah, 2019). En este contexto, se realiza un análisis comparativo de tres herramientas con realimentación automatizada utilizadas en entornos educativos para el aprendizaje de la programación. Las herramientas fueron desplegadas para determinar las características relevantes de estas, principalmente, características referentes a la evolución formativa.

Para el análisis del tipo de realimentación que genera la herramienta, se ha tomado como referencia el estudio (Keuning et al., 2018), donde se especifican cinco tipos de realimentación aplicados en tareas de programación. Estas se han agrupado de acuerdo con el conocimiento sobre restricciones de las tareas (Knowledge About Task Constraints, KTC), sobre los conceptos relacionados a las tareas (Knowledge About Concepts, KC), los errores encontrados en estas (Knowledge About Mistakes, KM) y sobre cómo proceder para solventar un error o mejorar una tarea (Knowledge About How to Proceed, KH). Además, de determinar el tipo de realimentación, se explora como se genera la misma, si es configurada por el docente o es soportada mediante técnicas computacionales.

Otros estudios relacionados que han desplegado las herramientas de realimentación automatizada buscan realizar comparativos sobre las características y funcionamiento de estas. Como es el caso de la revisión sistemática de literatura (Keuning et al., 2018), donde se realiza un comparativo de diferentes herramientas para aprender a programar mediante la solución de tareas, con el análisis del contenido de la realimentación, la tecnología usada y la adaptabilidad de la herramienta.

Para el análisis del contenido de la realimentación, se realiza una categorización de los tipos de comentarios, según (Narciss, 2008) se describe una clasificación de componentes de realimentación relacionada con el contenido para entorno de aprendizaje asistidos por computadora. Las etiquetas definidas para clasificar las herramientas y usadas para categorizar el contenido de los comentarios es implementada para clasificar las 101 herramientas seleccionadas en la SLR. Se definen 5 tipos de componentes de realimentación elaborada, conocimiento sobre restricciones (Knowledge About Task Constraints, KTC), conocimiento sobre conceptos (Knowledge About Concepts, KC), conocimiento sobre errores (Knowledge About Mistakes, KM), conocimiento sobre cómo proceder (Knowledge About How to Proceed, KH) y conocimiento sobre metacognición (Knowledge About Meta-cognition, KMC). Por cada subcategoría se clasifican las herramientas bajo estudio y se obtiene los porcentajes correspondientes a cada caso, analizando que cada una de las herramientas y la forma en cómo se genera el contenido de la realimentación.

Las tecnologías usadas también fueron clasificadas en dos grupos, sistemas de tutoría inteligente (ITS) y técnicas específicas para el dominio de la programación (Keuning et al., 2016; Keuning et al., 2018). Cada una con sus subcategorías. En la primera; se definen las herramientas de rastreo de modelos, basados en restricciones y tutorías basadas en análisis de datos. En la segunda, se definen el análisis de código dinámico mediante pruebas automatizadas, análisis estático básico, transformación de programa, diagnostico basado en intención y las herramientas externas. Como resultado se genera el recuento del número de herramientas, el porcentaje de herramientas que emplean la tecnología y las subcategorías especificas por cada tecnología, de manera general y especifica. Adicionalmente, se encuentra que por tecnología son nombradas las herramientas clasificadas y la razón del porque se encuentran dentro de esa categoría.

Y finalmente, la adaptabilidad donde se permite a los docentes crear ejercicios e influir en la realimentación generada en las herramientas, como son; las plantillas de solución, la soluciones modelo, los datos de prueba y error. Estas clasificaciones se han realizado según los diferentes tipos de información que los docentes pueden proporcionar para alimentar a la herramienta con modelos de error, reglas y restricciones para buscar las soluciones correctas (Keuning et al., 2016). Por ejemplo, herramientas, donde el docente especifica los mensajes de pistas personalizados y controlar que parte del código deben revelarse a los estudiantes por niveles.

En la mayoría de los curso en línea, las clases con gran número de estudiantes son frecuentes, la proporción de estudiantes por docente o tutor no es la mejor, ocasionando que la aplicación de modelos de tutoría sea imposible de implementar, como por ejemplo, el modelo de Oxford (English and English, 2019) que reúne tanto a estudiante como docente de manera semanal para revisar las evaluaciones de tareas, identificando y corrigiendo conceptos errores de la temática evaluada.

Por lo tanto, el tiempo disponible y proporción de tareas que debe revisar un tutor es limitado, lo que significa que el número de tareas puede reducirse a causa de esto, además de que las fechas de entrega de todas las actividades tienen un plazo hasta finalizar el curso, lo que provoca que los estudiantes no cuenten con mucha realimentación sobre su progreso en las tareas y curso en general (Vittorini et al., 2021).

Una de las propuestas para entregar realimentación oportuna a los estudiantes es a través de la automatización de la evaluación sumativa y formativa en los cursos en línea, aunque no es factible para algunas temáticas realizar la evaluación, aunque si se han realizado trabajos preliminares al respecto logrando avances, como por ejemplo Shermis (2014) o Annamaa et al. (2017) realizaron investigaciones sobre cómo generar realimentación automatizada en un curso de programación, mediante rúbricas que verifican si un fragmento de código se compila, si un fragmento de código produce las salidas esperadas en el tiempo definido, entre otros.

Por otro lado, se han implementado herramientas (Ramirez-Echeverry et al., 2018; Angelone and Vittorini, 2020; Gerdes et al., 2017) que con ayuda de módulos que le permiten al docente la configuración de casos de prueba, mediante los cuales es posible definir las salidas esperadas en un problema de programación, así como la configuración de comentarios a cada caso de prueba, para generarse a modo de realimentación cuando un caso de prueba no tenga la salida requerida.

Existen otras herramientas que se enfatizan en la generación de pistas para una tarea de programación. Una forma de hacerlo es a través de un módulo que le permita al estudiante solicitar una pista a cambio de una penalidad en la evaluación sumativa de la tarea, como por ejemplo, si se utiliza la escala Likert de 5 puntos, se reduciría la evaluación a 4 puntos, es decir, que por la pista proporcionada se disminuye un punto para la evaluación (Jeuring et al., 2012; Gerdes et al., 2017; Marin et al., 2017).

Las herramientas anteriormente mencionadas se han implementado con diferentes técnicas computacionales, así como también existen herramientas que han incorporado la inteligencia artificial (AI) para la evaluación automatizada en cursos de programación (Srikant and Aggarwal, 2014; Beck et al., 2019; Akram et al., 2020; Dominguez et al., 2010).

A partir de este análisis sobre las plataformas utilizadas para cursos de programación, se obtiene una perspectiva específica que permitió identificar que plataformas han implementaron realimentación automática. De las herramientas que se encuentran en la revisión de literatura, se citan 3 de las herramientas que se desplegaron con el fin de verificar el funcionamiento de la evaluación sumativa y/o formativa en sus entornos.

Herramientas

Resultados

Como resultado de las implementaciones se tiene la comparación del despliegue y exploración de las herramientas anteriormente descritas. Para la comparación de características en la realimentación se usaron las métricas establecidas en el trabajo (Keuning et al., 2018), para las características de la herramienta se usaron las citadas en el trabajo (Ramirez-Echeverry et al., 2018) y adicional a estas, se tienen en cuenta las características de despliegue o puesta en marcha, establecidas en este trabajo. Se han comparado UNCode, Nbgrader con Web-CAT y Ask-Elle. La Tabla 1 presenta esta comparación.

Tabla 1: Comparativo UNCode, Nbgrader (Web-CAT) y Ask-Elle.

Para la realimentación formativa se tuvieron en cuenta las métricas establecidas por (Narciss, 2008), que especifica tres métricas básicas con las que debe contar la realimentación: conocimiento sobre el desempeño alcanzado para un conjunto de tareas; conocimiento sobre el resultado de una tarea, si pasa todas las pruebas, si es igual al programa modelo o cumple con todas las restricciones y el conocimiento sobre los resultados correctos de una tarea, mediante una descripción o sugerencia de la solución correcta. Igualmente para determinar si las herramientas estudiadas cuentan con las métricas anteriormente mencionadas, se citan las estrategias de realimentación para tareas de programación (Keuning et al., 2018).

La herramienta UNCode cuenta con una evaluación formativa configurable por parte del docente en dos complementos correspondientes a los casos de prueba y las pistas. Por cada tarea se definen los casos de prueba y pistas que quiera el docente configurar, así mismo, en la configuración inicial de los casos de prueba se definen las entradas y salidas por tarea para posteriormente configurar la realimentación por cada uno. El tipo de realimentación aplicado en los casos de prueba es de tipo de conocimiento sobre errores con pruebas de falla y errores de compilación, puesto que para verificar si la tarea es correcta, se evalúa la sintaxis y la salida esperada.

Las pistas son opcionales y por lo tanto pueden configurarse si se requieren con penalidad o sin penalidad. Este tipo de realimentación puede configurarse de manera libre, puesto que puede ser acerca del conocimiento sobre conceptos, como las temáticas vistas en clases a través de ejemplos o los pasos sobre cómo proceder para resolver o mejorar una tarea.

Con respecto al despliegue, UNCode puede usarse como evaluador externo para sistemas de gestión de aprendizaje (LMS); funciona con las dependencias actualizadas, aunque en lo que respecta al sistema operativo se recomienda usar Centos, en nuestro caso fue implementado en Centos 6. No es posible implementar en Windows, solo es posible en Linux (kernel 3.10+). El backend tiene la responsabilidad de crear, administrar y eliminar contenedores para aislar de manera segura la ejecución y calificación del código fuente. En cuanto a los complementos, se pueden añadir de forma simple con el llamado de un método correspondiente al nombre dado al complemento, esto con el fin de extender las características existentes en la herramienta.

Entre las características principales de la herramienta, UNCode puede implementarse en un servidor para la administración de usuarios, cursos y tareas, los usuarios pueden ser administradores de la plataforma, docentes y estudiantes de los cursos. Los cursos se configuran con diferentes lenguajes de programación, incluso se ha expandido a la evaluación automática para cursos de inteligencia artificial con Jupyter notebook y leguajes de descripción de hardware, usado para cursos de electrónica digital.

La herramienta Nbgrader con Web-CAT, permite brindar realimentación inmediata a los estudiantes con sugerencias de cómo resolver una tarea o que pasos se deben seguir para resolverla, además de realimentación referente a los errores de compilación que puedan presentarse. La tarea resuelta en Jupyter es enviada a Web-CAT y tardará un tiempo en ejecutarse para comprobar el código.

Una vez hecho esto, devuelve un enlace que es abierto en una ventana emergente de Jupyter. Esto muestra algunos detalles básicos de la tarea, como el nombre de la tarea, el nombre del estudiante, la fecha de envío y el puntaje total para la tarea. Luego, la puntuación se desglosa un poco más en el cuadro Resumen de puntuación. Esto muestra en qué fase se perdieron los puntos. También habrá una lista de los archivos del envío. Al hacer clic, aparece un visor de código con más detalles sobre cómo Web-CAT calificó la tarea.

En cuanto al despliegue, la última versión de Web-CAT para Jupyter notebook fue actualizada hace tres años. En cuanto a la activación de complementos, no se encuentra una opción que permita incluir otros tipos de realimentación. Jupyter notebook solo permite trabajar con leguaje de programación Python, y es posible trabajarlo tanto de manera local con acceso a internet o en un servidor. Esta herramienta se incluye en Jupyter notebook como complemento. En el caso de otras plataformas, se puede incluir como una aplicación LTI (Learning Tool Interoperability) externa.

Finalmente, Ask-Elle, permite generar realimentación sobre la explicación de la tarea mediante información complementaria para procesar la tarea, asi como pistas que se entregan para continuar con el desarrollo de la tarea y las pistas con ejemplos que permiten medir los efectos del aprendizaje y eficacia en los estudiantes. La herramienta cuenta con facilidad para añadir tareas de programación y programar la realimentación. Los comentarios y sugerencias proporcionados por Ask-Elle se genera automáticamente a partir de las soluciones anotadas y definidas por el docente.

La implementación se realizó en Linux Debian con la instalación de las dependencias e Haskell, GHC y el paquete ideas. Ask-Elle es un entorno de aprendizaje que puede usarse externamente a la aplicación web disponible en (Universiteit Utrecht & Open Universiteit, s. f.-a). En Windows se presentaron inconsistencias en la instalación de dependencias, por la versión y tipo de Windows. Sólo se encuentra habilitado para el lenguaje de programación Ask-Elle.

Como se puede observar, los tipos de realimentación mayormente implementados en las herramientas son sobre el conocimiento de errores y el conocimiento de cómo proceder para resolverlos en una tarea de programación.

En la realimentación sobre conocimiento de errores, los resultados sugieren que este tipo de realimentación es positiva (Funabiki et al., 2016), indicando que el sistema contribuye al aprendizaje de los estudiantes y evaluación del material académico que los métodos usados tradicionalmente.

Mientras que en otro estudio, Kim et al. (2016), se revela que el 78% de las sugerencias son útiles para localizar y comprender errores, es decir, entender los problemas fácilmente; un estudio de usuario aplicado en el aula muestra que este tipo de herramientas mejora sustancialmente la productividad de los estudiantes.

En la realimentación sobre cómo proceder, se presentan experiencias que se llevaron a cabo para recopilar evidencia empírica sobre los efectos beneficiosos de las pistas (Jeuring et al., 2012; Ardimento et al., 2020). Los resultados obtenidos muestran que el sistema de pistas apoya el proceso de aprendizaje, aumentando su eficacia y evidenciando mejores resultados, en lo que respecta a la corrección del código, puesto que los estudiantes que utilizaron la herramienta obtuvieron calificaciones más altas que las que utilizan la enseñanza tradicional.

En la Figura 1 se puede observar cómo cada una las herramientas estudiadas cuentan con un número de estrategias de realimentación implementadas, se contempla que la herramienta UNCode es una de las que más estrategias ha empleado en la generación de realimentación en tareas de programación con sus módulos de creación de pistas y asignación de realimentación a cada caso de prueba.

Fig. 1: Estrategias de realimentación empleadas en las herramientas analizadas.

Conclusiones

Se ha realizado un comparativo que permite identificar las variables evaluadas en cada herramienta desplegada, a través de la comprobación de los complementos o módulos de realimentación automatizada en tareas de programación, con el fin de determinar cuál es la herramienta que puede tomarse como base en nuestro estudio. Además, de la identificación de los tipos de realimentación abordados por cada una de las herramientas descritas anteriormente.

Entre los aportes más significativos se encuentran la incorporación de las estrategias de realimentación presentadas por Narciss, puesto que las mismas han sido implementadas y adaptadas en otros estudios sobre realimentación en tareas de programación. Cabe resaltar que estas estrategias permiten identificar y clasificar los tipos de realimentación usados en las herramientas como apoyo a los procesos de aprendizaje, mediante la realimentación formativa como eje fundamental.

Se observa que, en las herramientas desplegadas, los tipos de realimentación más usados son las sugerencias relacionadas con errores, es decir, la identificación de un error específico y la generación de comentarios que permitan guiar al estudiante ante la corrección de una tarea de programación. Los tipos de realimentación que no se han implementado en las herramientas son sobre problemas de rendimiento, comportamiento y problemas de estilo de un programa.

En este orden de ideas la herramienta que cuenta o permite la configuración de varias estrategias de realimentación es UNCode, puesto que cuenta con los módulos de realimentación para cada caso de prueba y las pistas que puede incluir comentarios sobre las restricciones y temáticas que aborda la tarea, asi como los errores de compilación y comentarios sobre cómo proceder para resolver o mejorar una tarea de programación. En trabajos futuros, se pretende incluir un algoritmo de aprendizaje de máquina para el entrenamiento y predicción de la realimentación de acuerdo con la clasificación de los errores frecuentes cometidos en una tarea de programación.