DOI: 10.14483/23464712.11107

EL POTENCIAL DE LAS APLICACIONES EDUCATIVAS EN EL PROCESO DE EVALUACIÓN FORMATIVA

The potential of the educational applications in the formative assessment process

Mayara Lustosa de Oliveira¹

Thanuci Silva²

Juan Carlos Vega Garzón³

Eduardo Galembeck⁴

Cómo citar este artículo: Lustosa de Oliveira, M., Silva, T., Vega, J.C., Galembeck, E. (2017). El potencial de las aplicaciones educativas en el proceso de evaluación formativa. Góndola, Enseñ Aprend Cienc, 12(2), 99-116. doi: 10.14483/23464712.11107.

Recibido: 24 de octubre 2016 / Aceptado: 17 de marzo de 2017

¹ Docente e Diretora do Núcleo de Ensino no Instituto Federal Goiano, Campus Avançado Cristalina, Cristalina/GO, Brasil. Correio electrónico: mayara.lustosa@ifgoiano.edu.br

² Estudiante de doctorado en biología funcional y molecular. Instituto de Biología. Universidad Estadual de Campinas (Brasil). Correo electrónico: thanuci@gmail.com

³ Estudiante de doctorado en biología funcional y molecular. Instituto de Biología. Universidad Estadual de Campinas (Brasil). Correo electrónico: jcvegag@unal.edu.co

⁴ Profesor del departamento de bioquímica. Instituto de Biología. Universidad Estadual de Campinas (Brasil). Correo electrónico: eg@unicamp.br

Resumen

El debate sobre los objetivos reales de la evaluación no es nuevo. Sin embargo, todavía predominan aspectos como la excesiva valoración de la memoria, lo que refleja una visión tradicional y limitada. Es necesario superar el uso exclusivo de la evaluación tradicional con el fin de adoptar una evaluación formativa, modalidad que busca identificar las fallas y necesidades de los estudiantes durante el proceso educativo con el fin de recibir retroalimentación para tomar las medidas necesarias que permitan mejorar la enseñanza y el aprendizaje. Siguiendo esta necesidad, y buscando ayudar a los profesores en la aplicación de una evaluación formativa, algunos recursos tecnológicos han sido desarrollados. El presente trabajo tiene como objetivo describir el potencial de tres aplicaciones (Armet, The Cell y 3DClass) en el proceso de evaluación formativa usando las bases de datos asociadas a cada aplicación. Los resultados muestran que estas aplicaciones proporcionan métricas de evaluación más transparentes, coherentes y que permiten al profesor sistematizar criterios e indicadores, lo que reduce la subjetividad del proceso de evaluación formativa y el tiempo necesario para la preparación, tabulación y análisis de datos. Gracias a que con esta tecnología es posible verificar en tiempo real el número de errores totales y por pregunta, preguntas con el mayor número de errores recurrentes, preguntas con el mayor y menor índice de aciertos y el tiempo que los alumnos emplean para desarrollar la actividad, es posible determinar el progreso de los alumnos a lo largo del tiempo e identificar puntualmente dónde ocurren los errores; esto permite una investigación minuciosa sobre sus posibles causas. Esta información facilita la retroalimentación para los alumnos, ya sea como intervenciones puntuales o direccionadas por parte del profesor.

Palabras clave: enseñanza de las ciencias, evaluación formativa, recursos educacionales, tecnología educacional, tendencia educacional.

Abstract

The debate about real objectives of assessment is not new; however, currently still predominating some aspects, such as the enhancement of memory and practice that reflects a traditionalist and limited approach. It is necessary to overcome the exclusive use of traditional assessments in order to adopt a formative assessment. This modality seeks to identify student gaps and needs in the educational process, to receive feedback and take necessary decisions to improve teaching and learning processes. To meet this imminent need and seeking to assist teachers in implementing a formative evaluation, some technological resources have been developed. This study aimed to describe the potential of three applications (Armet, The Cell, and 3DClass) in the formative evaluation process, through the databases associated with them. Results show that these applications provide more transparent and consistent evaluation metrics, enabling the teacher to systematize criteria and indicators, reducing the subjectivity of the formative assessment process and the time spent for processing, tabulation, and data analysis. Considering that it is possible to check what issues were recurring errors, total quantity of mistakes, what questions had more level of success and how long they took to develop the activity. They also allow ascertaining whether there has been growth over time or even identifying where errors occur; allowing a thorough investigation on the possible causes, student’s feedback, as well as pointed and directed teacher interventions.

Keywords: formative assessment, educational technology, science education, educational tools, and educational trends.

Introducción

De cara a los avances tecnológicos actuales, nuevas culturas educacionales se han desarrollado y los conceptos de aprendizaje y evaluación empleados durante las últimas dos décadas son ya insuficientes para una formación educativa consistente (AAAS, 2011). Por otro lado, si se observa con detenimiento cómo es realizada actualmente la evaluación se percibe que todavía predominan aspectos como la excesiva valoración de la memorización y la reproducción del contenido exactamente como está expuesto en el libro didáctico, prácticas que reflejan un abordaje tradicional y limitado (NRC, 2014).

De acuerdo con los objetivos reales de la evaluación, dicho instrumento debería estar más al servicio del estudiante que al del sistema educativo, si asumimos que la verdadera función de las instituciones educativas es la formación integral del individuo con miras a su preparación para el ejercicio efectivo de la ciudadanía, es inevitable que se supere la evaluación tradicional en el sentido de adoptar una evaluación formativa (CASEIRO, GEBRAN, 2008).

Por definición, la evaluación formativa busca comprender el paso a paso del aprendizaje de los alumnos y es complementaria a la evaluación sumativa. Esta última tiene como meta, al final de un período, dar una visión general sobre los objetivos del curso alcanzados por el alumno. De otro lado, la formativa procura analizar los pasos del alumno para saber cómo se está produciendo el proceso de aprendizaje, entendiendo el error como el principal aspecto a ser interpretado (ANDERSON, 2007; AYALA, 2016; CARVALHO, MARTÍNEZ, 2005). En otras palabras, la formación y no la clasificación es su objetivo principal. Muchas veces la evaluación es rotulada como formativa, empleando definiciones simplificadas de la literatura, sin que dicho instrumento contenga algunas características fundamentales. De acuerdo con LUCKESI (2005), una evaluación formativa coherente contiene cuatro características principales: 1) opera con desempeños provisionales, buscando mejores resultados en cada etapa; 2) no es puntual, es decir, todo el camino del alumno es tenido en cuenta al momento de la evaluación, ya que se le considera como un ser en constante desarrollo; 3) es diagnóstica, prevé intervenciones en cualquier momento, buscando mejoras en cada etapa; y 4) es inclusiva, no descarta al alumno, por el contrario lo invita a mejorar.

Al analizar los factores que impiden la aplicabilidad de tales características en el proceso de evaluación, se puede evidenciar la poca preparación de los profesores que, la mayoría de las veces, no tienen contacto con la literatura que refuerza las características positivas de esta modalidad de evaluación. El profesor posee una carga horaria densa, dejándole poco tiempo libre para la elaboración de metodologías evaluativas novedosas. Además, no dispone del tiempo para corregir y tabular los datos de las evaluaciones de grupos numerosos, más aún si estás se realizan frecuentemente, ni de intervenir en las dificultades encontradas. Otra limitante sería la dificultad de individualizar al alumno en cursos de 35 a 40 estudiantes.

Buscando ayudar a los profesores a dar solución a los problemas arriba descritos, algunos recursos tecnológicos han sido desarrollados por nuestro grupo. Estos recursos cuentan con bases de datos propias y utilizan la tecnología de learning analytics (analíticas de aprendizaje), tecnología definida como la colecta, medición, análisis y reporte de datos acerca de los aprendices con el propósito de entender y optimizar el aprendizaje en el ambiente donde este ocurre (PARSLOW, 2014). Esta tecnología tiene un papel fundamental, ya que los datos colectados muestran el desempeño de los alumnos por medio de sus actividades de aprendizaje, propiciando que el proceso de evaluación sea visto como un todo (MARTIN, NDOYE, 2016).

Los recursos en cuestión son aplicaciones educativas, herramientas que incrementan su uso en los más variados públicos. Conveniencia, flexibilidad, enganche e interactividad son señalados como los principales aspectos que tornan las aplicaciones más atractivas para estudiantes y profesores, debido a que estas pueden ser almacenadas en dispositivos móviles y utilizadas en los más variados ambientes (SEILHAMER, CHEN, SUGAR, 2013).

Recientemente, diversas aplicaciones han demostrado que pueden ser útiles en el desarrollo de características deseables en los estudiantes, pues permiten mayor interacción y autonomía, en oposición al modelo pasivo que caracteriza la noción de enseñanza establecida en los centros escolares desde hace años (JENG, et al. 2010). Además de la ya reconocida importancia en los procesos de enseñanza-aprendizaje, las aplicaciones también pueden ser recursos facilitadores en el proceso de evaluación. Sin embargo, generalmente el análisis de las aplicaciones educativas se ha focalizado solamente en aspectos de funcionamiento, dejando en un segundo plano cuestiones referentes a su potencial evaluativo. Con la finalidad de contribuir significativamente a llenar esta laguna y demostrar la utilidad de las aplicaciones educativas asociadas a bases de datos en el proceso de evaluación formativa se presenta este trabajo.

El objetivo de este artículo es describir el potencial de tres aplicaciones (Armet, The Cell y 3Dclass) en el proceso de evaluación formativa. Para eso, cada aplicación se ha usado en un contexto y las bases de datos asociadas a ellos fueron utilizadas como fuente de la información descrita en los resultados. Los resultados revelan que las aplicaciones proporcionan métricas de evaluación más transparentes y coherentes, y que permiten al profesor sistematizar criterios e indicadores, lo que reduce la subjetividad del proceso de evaluación formativa y el tiempo necesario para la preparación, tabulación y análisis de datos.

Metodología

Caracterización de la investigación

En cuanto a su abordaje, se trata de una investigación basada en la utilización de métodos mixtos (mixed methods), integración de métodos cualitativos y cuantitativos en un único estudio (CASTRO, et al. 2010).

En cuanto a sus objetivos, se trata de una investigación descriptiva-exploratoria que busca, mediante la descripción, suscitar una mayor familiaridad con los recursos y los fenómenos a ellos asociados (GERHARDT, SILVEIRA, 2009; GIL, 2008).

En cuanto a sus procedimientos, es un estudio de caso. Tal modalidad puede ser caracterizada como un estudio de entidades bien definidas, por ejemplo, programas, sistemas educativos o personas. Es especialmente adecuada cuando se busca explorar o describir contextos complejos, en los cuales diversos factores están involucrados (GERHARDT, SILVEIRA, 2009).

Público-objetivo

Las aplicaciones se desarrollaron enfocándose en dos áreas específicas: la biología celular y la bioquímica. Tales disciplinas son prerrequisitos en prácticamente todos los cursos superiores de ciencias biológicas y, por tanto, hacen parte de los primeros módulos que los estudiantes de reciente ingreso a la universidad deben cursar. Ofrecer recursos facilitadores para este público constituye una ayuda para estudiantes y profesores, especialmente si se tiene en cuenta que el lenguaje y profundidad de los contenidos abordados en esta etapa difieren significativamente de los que los estudiantes están habituados a utilizar durante el bachillerato.

Por otra parte, estas aplicaciones también pueden servir como una herramienta de actualización para estudiantes ya graduados, como material de estudio para exámenes de ingreso a la universidad o como un curso básico para personas interesadas en estos temas. Es un hecho que esta versatilidad de los recursos puede generar poca especificidad de público, no obstante, en las tres aplicaciones los usuarios pueden ser agrupados por medio de un login que permite la individualización y análisis de los grupos de usuarios por separado; en caso de que exista interés en analizar variaciones de comportamiento entre ellos.

Descripción de las aplicaciones

The Cell y Google Analytics

The Cell es un MOOC (del inglés massive open online course) desarrollado en la forma de una aplicación. Está disponible en español, inglés y portugués para dispositivos iOS y Android. Tiene como objetivo principal introducir al aprendizaje de la biología celular utilizando un modelo 3D de una célula animal.

El modelo permite interactuar por medio de toques en la pantalla para simular la inmersión del usuario en un ambiente 3D. El modelo 3D fue elaborado a escala, de tal modo que su tamaño está relacionado con el tamaño de las organelas en su interior (figura 1). Esta funcionalidad es importante, ya que en la mayoría de los modelos celulares la escala nunca es respetada, lo que describe un modelo alejado de la realidad. Analizar las diferencias en el tamaño de orgánulos es poco común, pero puede ser útil a la hora de representar la realidad y trabajar con nociones de escala a nivel microscópico (VLAARDINGERBROEK, TAYLOR, BALE, 2014).

Figura 1. Pantalla inicial de la aplicación con la célula en el centro y el botón menú abajo a la izquierda. Al dar clic al botón menú surge una lista con los 12 módulos de contenido, elección de idioma y créditos. Al dar clic en un ítem de la lista o al dar dos clics en una organela, el usuario observará un acercamiento de la estructura (aquí se muestran como ejemplo los centriolos) y aparecen las cuatro opciones de actividades disponibles en la aplicación: contenido textual, desafío, juegos de fijación y evaluación.

Además, muchos investigadores afirman que una fuerte conceptualización de la escala es esencial para logar una adecuada alfabetización científica (TRETTER, et al. 2006).

En relación con la construcción del MOOC, todo el contenido básico de la disciplina de biología celular fue dividido en 12 módulos, los cuales son presentados dando clic en el botón menú, localizado en la parte inferior izquierda de la pantalla (figura 1). Cada uno de los 12 módulos está compuesto por cuatro actividades: contenido textual, desafío, juegos de fijación y evaluación (figura 1, derecha). Los juegos de fijación son preguntas de verdadero y falso. Los desafíos son problemas que exigen análisis, correlación y, en muchas ocasiones, demandan el uso de habilidades cuantitativas para su solución. La evaluación del módulo incluye preguntas discursivas simples (para completar / juego de la horca) y preguntas de elección múltiple.

Para el diseño del recurso educativo se siguieron algunas de las etapas esenciales del planeamiento basado en la teoría del diseño instrucional (DI). El DI es un área de la investigación educacional que busca formas de auxiliar a los estudiantes a aprender de forma significativa (GAGNE, et al. 2007). De acuerdo con sus principios establecidos, un curso construido por medio del DI necesita de un proyecto cuidadosamente centrado en cinco elementos básicos que constituyen el modelo ADDIE, por sus siglas en inglés: analize (analizar), design (planear), develop (desarrollar), implement (implementar) y evaluate (evaluar) (GAGNE, et al. 2007). La etapa de evaluación busca medir la eficiencia del recurso didáctico para cumplir los objetivos propuestos. Para la evaluación de The Cell se utilizó una herramienta de análisis disponible gratuitamente por Google, a saber, Google Analytics (GA). Culminada la fase de desarrollo la aplicación fue asociada a GA para evaluar su uso por parte de los usuarios.

El recurso fue modelado con el sistema estadístico Urchin, de la Urchin Software Corporation y adquirido por Google en abril de 2005. Esta herramienta fue lanzada en 2005 e inicialmente era utilizada para optimizar campañas de marketing y para uso de Google AdSense, pero rápidamente se tornó en una de las más importantes soluciones de análisis de diversos recursos en internet (CLIFTON, 2012).

GA da acceso a estadísticas para monitorear el uso y visibilidad de un recurso. Las diferentes escenas del aplicativo están configuradas de tal manera que se puede conocer el recorrido que cada estudiante hace dentro del mismo, cuánto tiempo permanece en las escenas y cuál es su desempeño en las actividades. En otras palabras, permite una retroalimentación bidireccional entre profesores y estudiantes. Al comparar las características de una retroalimentación efectiva y una retroalimentación inadecuada, algunos investigadores afirman que para que el proceso sea verdaderamente eficaz es importante que este no se realice en una sola vía, es decir, debe ser útil tanto para el profesor como para el estudiante (BORGES, et al. 2014).

The Cell se encuentra disponible de forma gratuita en las principales tiendas de aplicaciones, el recurso está asociado a GA a fin de obtener información que posibilite un análisis preciso de su uso. Los datos de uso descritos en los resultados se obtuvieron entre abril 2014 y abril de 2016.

3D Class: clase de aula invertida (flipped classroom) y evaluación formativa.

3DClass es un ambiente virtual de aprendizaje. Está disponible en inglés y portugués para dispositivos iOS, Android y computador. Permite al usuario una experiencia de aula real en un ambiente virtual. Esta aplicación pone a disposición de los estudiantes evaluaciones y, a la vez, les proporciona un extenso banco de datos respecto a su desempeño. La escena principal de la aplicación reproduce un ambiente escolar con un tablero y un escritorio, a partir del cual los usuarios tienen acceso a sus respectivos salones de clase (figura 2).

Figura 2. La parte izquierda muestra la pantalla inicial de 3DClass. En la parte derecha se muestra un ejemplo de la tabla generada por la aplicación donde se puede apreciar la identificación de los alumnos, la duración del test, las respuestas a las preguntas y el número de aciertos (6.67) y errores de cada alumno (0). Esta información solamente está disponible por medio de un link exclusivo para profesores.

La vertiente pedagógica en la que se encuadra 3DClass es conocida como blended learning, o en español aprendizaje híbrido. Se trata de una metodología educacional utilizada en la actualidad y que asocia los puntos positivos del aprendizaje tradicional a los puntos positivos de la tecnología educacional (BONK, GRAHAM, 2004). Existen diversas propuestas de aprendizaje híbrido que están siendo utilizadas en diferentes centros de enseñanza, las más comunes son: rotación por estaciones (station rotation), aula de clase invertida (flipped classroom), aprendizaje casi exclusivamente en línea (flex) y el modelo virtual enriquecido (enriched virtual model).

La propuesta de sala de aula invertida es un método que invierte la lógica de la organización de las instituciones educativas (SILVA, GALEMBECK, 2014). Los alumnos tienen la oportunidad de aprender partes del contenido en su propia casa, por medio de recursos interactivos, y el salón de clase es aprovechado para entablar discusiones pertinentes sobre el tema estudiado, resolviendo dudas, realizando ejercicios para profundizar en el tema, llevando a cabo actividades en grupo y proponiendo el desarrollo de proyectos.

En una disciplina de bioquímica experimental, el conocimiento de las bases teóricas de las técnicas experimentales utilizadas en los experimentos es fundamental para el planeamiento, ejecución e interpretación de resultados. El contacto previo con los contenidos de la disciplina aumenta el aprovechamiento de las aulas expositivas y de las aulas prácticas. De esta manera, 3DClass utiliza listas de ejercicios como actividad preparatoria para la realización de experimentos. Un test es aplicado semanalmente antes de la explicación del contenido, de esta manera los estudiantes tienen una semana para responder las preguntas. Los test ofrecen al profesor un panorama general del desempeño de los alumnos, permitiendo una intervención puntual. Además, estimula en los alumnos el estudio previo de la materia.

Los datos colectados, almacenados en una base de datos por medio de la aplicación, pueden ser visualizados en tablas a través de un link que el profesor recibe vía correo electrónico. La información tabulada permite hacer un análisis sobre qué preguntas tienen el menor y mayor número de errores y aciertos, el tiempo empleado por cada estudiante para resolver el cuestionario y la nota final obtenida por cada uno de ellos.

La información tabulada también permite identificar las diferentes alternativas seleccionadas en cada intento, de esa forma el profesor consigue trazar un perfil individual en términos de competitividad y motivación. Un análisis más detallado mostraría la frecuencia con que cada alumno ingresa a las pruebas, qué alumnos contestan el cuestionario a conciencia y cuáles lo hacen adivinando la respuesta correcta dentro de las diferentes alternativas propuestas. Así como identificar los alumnos que realizan la prueba varias veces hasta obtener la nota máxima, incluso determinar qué alumnos, una vez alcanzada la nota máxima, siguen contestando el cuestionario para aumentar su nota promedio. Todas las características descritas anteriormente, incluidas dentro de 3DClass, permiten al profesor acompañar e intervenir varios aspectos relacionados con el proceso de aprendizaje de sus alumnos. Además, permite que conozca el desempeño individual de cada alumno para adecuar sus clases de acuerdo a sus necesidades y capacidades.

Armet: bancos de datos al servicio de una evaluación formativa

ARMET (sigla en inglés para Augmented Reality Metabolic Pathways) es una aplicación de realidad aumentada disponible en español, inglés y portugués para dispositivos iOS y Android. Fue desarrollada para introducir a los estudiantes en los principios fundamentales para el estudio de las vías metabólicas. La realidad aumentada es una interfaz avanzada que permite mezclar en tiempo real objetos reales con objetos virtuales y donde el usuario puede navegar e interactuar en un ambiente tridimensional usando dispositivos como tablets y smartphones (KIRNER, SISCOUTTO, 2007).

En la aplicación podemos encontrar un modo estudio y un modo juego (figura 3). El estudiante interactúa respondiendo preguntas sobre moléculas involucradas en vías metabólicas específicas. Están disponibles para su descarga e impresión: el tablero de juego, las cartas con las moléculas para cada vía y una guía de estudio. Utilizando la cámara del dispositivo móvil, la aplicación reconocerá cada marcador y mostrará diversas informaciones en la pantalla (figura 3), por ejemplo, la estructura de las moléculas en 3D y sus modificaciones durante las diferentes reacciones químicas.

Para asegurar que la aplicación, además de facilitar el proceso de enseñanza, ayude en el proceso de medición de aprendizaje, fue desarrollado un sistema de recolección y evaluación de datos. Para individualizar cada estudiante en el banco de datos, fue incluida la opción login. El profesor puede crear una clase en particular y solicitar a sus estudiantes ingresar a la aplicación con un código de clase único lo que permite colectar y guardar los datos de uso para cada clase específicamente.

De este modo, al dar clic en la opción informes (figura 3) el profesor puede ingresar a las clases creadas por él y visualizar datos como: número de errores totales y por pregunta, preguntas con mayor y menor índice de aciertos, y tiempo empleado para cada actividad (figura 4). Es de resaltar que la interfaz fue desarrollada teniendo como foco que su utilización sea intuitiva para que el profesor se adapte a su uso de manera rápida.

Figura 3. De izquierda a derecha: pantalla inicial de la aplicación ARMET, con la opción de login, acceso anónimo, elección de idioma (portugués, inglés y español) y los documentos disponibles: cartas, tablero y estudios dirigidos. La parte del centro y derecha de la gráfica muestra la interfaz para estudiantes y profesores respectivamente.

Figura 4. Mediante el uso de este recurso el profesor puede seleccionar el modo que él quiere analizar (estudio o juego), la vía metabólica (glicólisis, ciclo de Krebs y hormonas) y las clases que desea comparar. Una vez elegido el período de análisis (día, mes, año, hora), selecciona el criterio de análisis (puntos, tiempo, errores). Al enviar los datos dando clic en el botón ok se despliegan una columna con los resultados estadísticos.

Dentro de la propuesta de utilización de la aplicación se deben dividir los estudiantes de un curso en grupos de tres a cinco integrantes. El principal papel de los profesores y monitores es el de moderar la discusión dentro de cada grupo, debido a que parte de la retroalimentación es proporcionada por la aplicación. Antes de iniciar la actividad el profesor debe crear una clase específica, después de realizar la solicitud de creación de clase el profesor recibirá por correo electrónico un código alfanumérico, el cual se le debe proporcionar a los estudiantes para ingresar a la aplicación e individualizar la recolección de datos de uso y desempeño durante la actividad. La primera actividad propuesta consiste en ensamblar una vía metabólica usando el modo estudio y las pistas proporcionadas por la aplicación. Usando cartas impresas que muestran la estructura en 2D de las moléculas involucradas en la vía metabólica a estudiar, la cámara del dispositivo móvil puede reconocer dichas cartas y mostrar en la pantalla del dispositivo la estructura en 3D de cada una de las moléculas. Los estudiantes deben organizar las moléculas en una secuencia lógica siguiendo las pistas proporcionadas por la aplicación. Una vez ensamblada la vía metabólica correctamente, los estudiantes deben comenzar el modo juego y responder una serie de preguntas acerca de la vía metabólica estudiada, actividad propuesta para realizar la evaluación del aprendizaje.

Resultados y discusión

The Cell y Google Analytics: retroalimentación para profesores y estudiantes

Analizando los datos actualmente disponibles en GA es posible observar que, desde la asociación del aplicativo a la herramienta de análisis, de abril de 2014 hasta el 21 abril de 2016, 27.646 usuarios descargaron la aplicación. El análisis actual tomará en consideración los datos generales de todos los usuarios que interactuaron con la aplicación durante este período.

A diferencia de las demás aplicaciones, los resultados obtenidos por medio de los datos de GA permiten, en general, un análisis global de los estudiantes. Aunque la evaluación formativa esté orientada para una observación individualizada, el análisis del comportamiento de la clase como un todo también puede ser útil al profesor, especialmente si dispone de poco tiempo y está interesado en datos generales y representativos del grupo de estudio.

Los datos pueden ser vistos por el educador antes de la clase para obtener información como: tiempo promedio de uso de la aplicación, cuántas escenas están siendo visualizadas (figura 5), cuáles son las escenas más vistas o cuál es el recorrido realizado por cada usuario dentro de la aplicación (figura 6). Con estos análisis en mente, y dependiendo del objetivo del profesor, es posible verificar la motivación e interés demostrado por los estudiantes en la actividad sugerida. También es posible direccionar el contenido que será transmitido, relacionándolo con lo que los alumnos han estudiado usando la aplicación, además de ofrecer una retroalimentación para los mismos sobre la importancia de realizar actividades específicas con el recurso.

Otra retroalimentación importante que puede ser dada a los alumnos tiene relación con el tiempo de calidad utilizando el recurso. Si la duración media de la sesión es de 4 minutos y durante este tiempo son visualizadas 15 escenas, por ejemplo: ¿será, que los estudiantes pueden aprovechar todo el aprendizaje posible del recurso? Pasando tan poco tiempo en cada escena es posible que no. De esta forma, el profesor puede sugerir rutas alternativas a los estudiantes para cumplir actividades específicas dentro del recurso que demanden más tiempo o escenas explicativas que pueden auxiliar en la comprensión del contenido estudiado.

Pero, ¿cómo identificar si los estudiantes, o por lo menos la mayoría, cumplen con las actividades sugeridas? En de The Cell es posible rastrear el recorrido del grupo de usuarios, ya que en el momento de asociar el aplicativo a GA el desarrollador configuró el recurso de modo que cada clic fuese registrado, de este modo todas las acciones posibles pueden ser rastreadas. La interpretación de estos datos describe el recorrido que el grupo como un todo ha seguido (figura 6).

Por ejemplo, en el caso de The Cell, sino se tiene en cuenta la primera escena y la de cámara libre, la mayoría de los usuarios parte inicialmente para las mitocondrias, después para el retículo endoplasmático rugoso y posteriormente para el núcleo. Si, por ejemplo, el profesor solicita a los alumnos que sigan dentro de la célula una vía biosintética secretora (es decir, 1) retículo rugoso, 2) aparato de Golgi, 3) lisosomas y 4) membrana plasmática), él podrá verificar en tiempo real si los estudiantes en general consiguen seguir la vía correctamente, o si por el contrario se encuentran perdidos. De esta manera es posible discutir la vía con el curso para corregir posibles errores conceptuales.

Figura 5. GA muestra la información consolidada del comportamiento de los usuarios, información sobre el número de usuarios que descargaron el aplicativo durante el período de análisis (users), cantidad de visualizaciones de cada escena (screen views), número de escenas vistas por sesión (screen/sessions) y duración media de cada sesión (avg. sessions duration).

Figura 6. GA tiene una herramienta denominada “flujo de comportamiento”, que se encuentra en la pestaña “comportamiento” esta herramienta ilustra el recorrido que los usuarios en su mayoría han seguido dentro de la aplicación. Sobre cada línea verde está indicado el nombre de la escena visitada. Cuanto más gruesa es la línea mayor es el número de personas que optó por ella durante el recorrido. De esta manera es posible analizar de dónde viene la mayor parte del grupo y para dónde se dirige a partir de cualquier punto de la vía. Basta clicar dos veces sobre el punto deseado y la vía queda destacada en gris oscuro, como se muestra en la figura. En el ejemplo, como la escena inicial no representa una estructura celular específica, clicamos en mitocondria, a fin de verificar la ruta seguida dentro de la aplicación.

Si el profesor recomienda una actividad en una organela específica, o recomienda la lectura de un texto disponible en la aplicación, es posible observar cómo el curso se ha comportado en relación con esa actividad, teniendo en cuenta el tiempo que pasaron en esta escena. Si el tiempo medio es de apenas 16 segundos (figura 7), es posible que la actividad no haya sido realizada con atención y cuidado. Los datos referentes a las escenas visitadas pueden ofrecer un panorama de aquello que es interesante para los estudiantes y de las actividades que han apreciado más.

Otro punto importante reside en el hecho de que la actividad puede contener algún error o ser muy aburrida para la mayor parte de los estudiantes, en este caso, es posible observar la tasa de abandono, denominada “porcentaje de salida”. Esta información puede ser útil para profesores o desarrolladores de tecnologías educacionales, porque permite que corrijan posibles errores, lo que torna el recurso más efectivo para el proceso de enseñanza (figura 7).

Datos como los descritos anteriormente proporcionan información continua, la cual puede ser utilizada para que los estudiantes perciban que tan distantes o próximos están de los objetivos propuestos. La retroalimentación es una de las estrategias educacionales y evaluativas con mayor evidencia de eficacia en la enseñanza, se trata de la actividad central en la evaluación formativa, pues estimula la autorregulación del estudiante y puede también direccionar los esfuerzos del profesor (RUSHTON, 2005). A pesar de ser esencial, la retroalimentación no garantiza el aprendizaje sin que haya un adecuado estímulo a los procesos cognitivos y metacognitivos del alumno, que debe ser el centro del proceso de enseñanza-aprendizaje (FERNANDES, 2006).

Además de sus análisis globales, GA ofrece la posibilidad de individualizar los usuarios por medio de una herramienta denominada “Explorador de usuarios” (figura 8). La herramienta está disponible desde 2016 y permite identificar el usuario, la cantidad de sesiones que realizó y la duración media de cada sesión. Tal información es importante, porque permite al profesor analizar separadamente el comportamiento de los estudiantes. Este abordaje es uno de los objetivos de la evaluación formativa, informar al profesor sobre el perfil del alumnado para que este pueda regular sus acciones y motivar la reflexión, generar consciencia y tornar a sus estudiantes capaces de reconocer y corregir sus propios errores (Hadji, 2001).

Figura 7. La tabla muestra información como: la cantidad y el porcentaje de visualizaciones de cada escena, el tiempo medio de permanencia en una escena específica y el porcentaje de abandono de cada escena (%Exit).

ELLIS (2012) afirma que aunque GA tenga como principal objetivo la evaluación de sitios de comercio electrónico, la herramienta ha mostrado ser útil en estudios de tecnología educacional para analizar el uso y el éxito de recursos didácticos. Finalmente, el compromiso de los usuarios, el recorrido realizado por ellos, el aumento en el número de usuarios activos y la duración media de las sesiones son percepciones actitudinales que pueden auxiliar tanto en la evaluación formativa de los usuarios, como en el análisis de las actividades y la aceptación del recurso educativo.

3DClass

Todos los años 3DClass es utilizado por aproximadamente 90 estudiantes de pregrado en una asignatura de bioquímica experimental. Cada actividad realizada por cada uno de los alumnos se almacena en tiempo real en un banco de datos. Esta información se convierte en una herramienta invaluable al servicio de la evaluación formativa para el profesor. Los resultados son presentados en una interfaz amigable, donde el profesor puede apreciar un panorama general de las dificultades de los alumnos. 3DClass usa el abordaje de flipped classroom,por lo que permite identificar, antes de cada clase, los conceptos con los cuales los alumnos tuvieron mayores dificultades, de esta manera el profesor puede enfocar su clase en esclarecerlos. Al usar los errores o dificultades de los estudiantes para mejorar el proceso de aprendizaje se está teniendo en cuenta una característica clave de la evaluación formativa, mientras que la evaluación sumativa usa esta información solamente para la clasificación de conocimiento de los estudiantes.

Figura 8. Usando GA es posible realizar un seguimiento individualizado de cada usuario (Client Id), analizando información como: la cantidad de sesiones que el realizó y la duración media de cada sesión.

La figura 9 muestra los resultados de un test sobre termodinámica, el profesor puede apreciar que las preguntas 1146 y 1154 son las que tienen mayor grado de dificultad para los alumnos. Con esta información el profesor puede enfocar su clase, extenderse en la explicación de estos conceptos y realizar una retroalimentación más eficaz para el aprendizaje de los alumnos. De esta manera, la clase es planificada pensando en el perfil presentado por el curso durante su primer contacto con el contenido.

3DClass permitió también intervenir puntualmente en el aprendizaje de los estudiantes. Mediante los datos de desempeño individual (figura 10), el profesor puede identificar en qué preguntas un alumno en particular no consiguió responder correctamente.

Además, el profesor cuenta con otras herramientas de 3DClass para indagar sobre las causas que llevaron al estudiante a equivocarse en su respuesta. La principal de estas herramientas es la posibilidad que el profesor tiene de ver cada una de las alternativas que el alumno eligió en los intentos que hizo para responder la pregunta (figura 11), lo que permite identificar dificultades conceptuales no solo de este alumno en particular, sino de todos y cada uno de los miembros del curso. Con esta herramienta también puede identificar aquellos alumnos que están respondiendo aleatoriamente las preguntas para intentar adivinar la respuesta correcta.

figura 9

Figura 9. Esta tabla muestra la estructura del banco de datos de 3DClass. El profesor puede apreciar el desempeño de los estudiantes en un test sobre termodinámica. Las alternativas destacadas en verde indican las respuestas correctas, en la columna porcentaje y entre paréntesis se puede apreciar el número de estudiantes que eligieron esta alternativa como correcta.

figura 10

Figura 10. La tabla muestra de manera individual si los estudiantes respondieron correctamente a cada una de las preguntas del cuestionario. Por ejemplo, el alumno SO3 resaltado en amarillo no consiguió responder correctamente la pregunta 3.

Figura 11. 3D Class permite ver en detalle cada uno de los intentos de un alumno para responder a las preguntas del cuestionario. En este ejemplo se muestra cómo el alumno eligió, en este intento, la respuesta equivocada (destacada en rojo).

Los resultados de uso de 3DClass muestran que además de facilitar la recolección, almacenamiento y organización de datos, proporciona herramientas para realizar una evaluación formativa, ya que es capaz de promover interacciones dinámicas entre el profesor y los alumnos (GIKANDI, MORROW, DAVIS, 2011), para monitorear en tiempo real sus objetivos de aprendizaje efectivo.

ARMET

Los resultados mostrados en la tabla 1 corresponden al modo estudio del glicólisis. El cuestionario sobre este tópico está compuesto por diez preguntas. El cuestionario fue resuelto por 65 estudiantes que cursaron la asignatura de introducción al metabolismo.

Tabla 1. Resultados modo estudio glicólisis. Se muestran los cinco primeros (gris) y los cinco últimos estudiantes. Se puede apreciar el número de errores por estudiante, por pregunta y el porcentaje de error.

Fuente: base de datos de ARMET.

Esta información permite verificar el progreso del estudiante a lo largo del tiempo en relación al número de errores y aciertos, al igual que ubicar en donde se cometen los errores con miras a evaluar posibles causas. Como se puede apreciar en la tabla 1, la pregunta cinco tiene un alto porcentaje de error. Dentro de las posibles causas se cuentan: 1) la pregunta está mal formulada, 2) la pregunta es demasiado compleja, o 3) los estudiantes tienen un error conceptual sobre este tópico en particular. A partir de este diagnóstico, el profesor puede diseñar una retroalimentación significativa para los estudiantes y enfocar sus esfuerzos en esclarecer dichos conceptos.

Por medio de la base de datos asociada a ARMET es posible verificar si el tempo que los estudiantes emplean para desarrollar una actividad está disminuyendo, si el número de errores también disminuye y, de esa forma, verificar el progreso del estudiante en relación con el número de errores y aciertos, al igual que ubicar dónde se cometen los errores con miras a evaluar posibles causas y diseñar intervenciones puntuales. Tales funcionalidades permiten fundamentar la evaluación en una base epistemológica constructivista y en principios pedagógicos relacionales, auxiliando el proceso de evaluación formativa como un todo.

Tabla 2. Tabla de resultados del valor escalar (VE)*. *ID corresponde a el identificador de cada estudiante, los números de 1 a 23 corresponden a cada pregunta del cuestionario y VE es el valor escalar calculado para cada estudiante.

Tabla 2.

Fuente: base de datos de ARMET

En otras palabras, la observación y el acompañamiento que el aplicativo permite son esenciales en la evaluación formativa, dado que dicha modalidad evaluativa no es estática y se basa en un proceso cíclico y continuo de análisis y acción. La retroalimentación que posibilita este recurso también es mencionada en la literatura como una de las principales estrategias de la evaluación formativa para promover la mejora del proceso de aprendizaje, pues el alumno puede ser capaz de reconocer y corregir sus propios errores (HADJI, 2001).

Además de contar con el módulo de colecta, almacenamiento y análisis de datos, ARMET cuenta con un módulo de evaluación del aplicativo. Se trata de un cuestionario de tipo Likert que pretende evaluar la valoración de utilidad que los estudiantes dan al recurso pedagógico para su aprendizaje del metabolismo. Los resultados corresponden a una clase de 21 estudiantes que cursaron la asignatura de introducción al metabolismo. Fue aplicado un cuestionario con 23 preguntas, en el cual deberían valorar su acuerdo o desacuerdo con cada una de las afirmaciones en una escala de uno a cinco, siendo uno total desacuerdo y cinco total acuerdo (tabla 2).

Una vez resuelto el cuestionario, se calculó el valor escalar (VE) que corresponde al promedio de las respuestas. Una vez calculado el valor escalar se crearon cuatro categorías de utilidad (tabla 3).

La evaluación y percepción de utilidad de los recursos pedagógicos por parte de los estudiantes son la mejor herramienta de retroalimentación con la que profesores y desarrolladores cuentan para el continuo mejoramiento del recurso. También se constituyen en un valioso aporte para la evaluación formativa, ya que el estudiante es incluido e invitado a expresar de manera objetiva, si las actividades académicas realizadas por él cumplen sus expectativas y si considera que sus objetivos de aprendizaje están siendo alcanzados.

Para los próximos pasos de evaluación de los tres aplicativos descritos, el valor escalar de utilidad cobrará mucha importancia porque este indicador junto con los indicadores de uso del aplicativo y las notas obtenidas en evaluaciones de conocimientos permitirán realizar pruebas estadísticas de correlación, con el objetivo de valorar la eficiencia del recurso pedagógico para lograr los objetivos de aprendizaje propuestos.

Conclusiones

A pesar de que en esencia la evaluación formativa se trata de un concepto ideal de evaluación, se pueden realizar algunos esfuerzos para que exista y sea viable su aplicación eficiente. Dentro de estos esfuerzos posiblemente el más relevante es el desarrollo de métricas más transparentes y coherentes, que posibiliten al profesor sistematizar criterios e indicadores que permitan reducir efectivamente la subjetividad del proceso evaluativo. También se hace necesario que durante el proceso de evaluación se logre individualizar al máximo a los alumnos de manera que sea posible ofrecerle a cada uno una evaluación más justa y cuidadosamente refinada. Los datos obtenidos por medio de las herramientas asociadas a las tres aplicaciones educativas descritas en este trabajo ofrecen esas métricas y por consiguiente posibilitan la aplicación de las premisas de la evaluación formativa.

Tabla 3. Categorías de utilidad creadas a partir del valor escalar. Al sumar el porcentaje de las categorías medianamente útil y muy útil, se puede observar que el 95.2% de los estudiantes consideran que ARMET es una herramienta útil para su aprendizaje del metabolismo.

Fuente: base de datos de Armet

Cuando el profesor dispone de tiempo para caminar por el salón de clase, conversando con los alumnos, escuchando sus discusiones, dando soporte cuando hacen preguntas, aclarando algunos puntos y percibiendo su reacción a otros puntos de vista se consolida el proceso de evaluación formativa. Este tiempo de calidad solo puede ser obtenido cuando los estudiantes están inmersos en actividades que pueden producir un aprendizaje significativo y que permitan identificar sus dificultades, de modo similar a como es descrito en este trabajo.

En relación con perspectivas futuras, y conforme con la literatura consultada, se puede afirmar que la tendencia para la adopción y adaptación de este tipo de evaluación se incrementará. Probablemente debido al uso de nuevas tecnologías educativas que impulsen el surgimiento de nuevas técnicas y recursos evaluados y validados para su implementación. Si tomamos en consideración que las premisas en el contexto educativo son las de no homogenizar grupos de estudiantes y las de no utilizar solamente una metodología de evaluación, se puede concluir que los recursos didácticos que permitan individualizar los estudiantes por estilos de aprendizaje y disponibilizar actividades propias para cada estilo se convertirán, en un futuro no muy lejano, en la principal ayuda para los profesores a la hora de evaluar efectivamente los procesos de aprendizaje de sus estudiantes (FERNANDES, 2009).

Referencias

American Association for The Advancement of Science (AAAS). Vision and Change in Undergraduate Biology Education: A Call to Action. Washington: Estados Unidos. 2011. Disponible en: http:// visionandchange.org/files/2011/03/VC-Brochure-V6-3.pdf.

ANDERSON, R. T. Bridging the Gap: Bridging the Educational Research-Teaching Practice Gap: The power of Assessment. Biochemistry Molecular Biology Education, v. 35, n. 6, pp. 471- 477. 2007.https://doi.org/10.1002/bmb.20135

AYALA, J. Evaluación externa y calidad de la educación en Colombia. Documentos de trabajo sobre economía regional. Banco de la República. Bogotá: Colombia, 2016.

BONK, C. J.; GRAHAM, C. R. Handbook of Blended Learning: Global Perspectives, Local Designs. Pfeiffer Publishing. San Francisco: Estados Unidos, 2004.

BORGES M. C.; MIRANDA C. H.; SANTANA, R. C.; BOLLELA, V. R. Avaliação Formativa e aprendizado na saúde. Medicina (Ribeirão Preto), v. 47, n. 3, pp. 324-31. 2014.

CARVALHO, L. M. O.; MARTINEZ, C. L. P. Avaliação formativa: a auto-avaliação do aluno e a auto formação de professores. Ciência y Educação, v. 11, n. 1, pp. 133-144. 2005. https://doi.org/10.1590/S1516-73132005000100011

CASEIRO, C. C. F.; GEBRAN, R. A. Avaliação formativa: concepção, práticas e dificuldades. Nuances: estudos sobre Educação, v. 15, n. 16, pp. 141-161. 2008.

CASTRO, F. G.; KELLISON, J. G.; BOYD, S. J.; KOPAK, A. A Methodology for Conducting Integrative Mixed Methods Research and Data Analyses. Journal of Mixed Methods, v. 4, n. 4, pp. 342- 360. 2010. https://doi.org/10.1177/1558689810382916

CLIFTON, B. Advanced Web Metrics with Google Analytics. 3 ed. John Wiley y Sons. Indianapolis: Estados Unidos, 2012.

ELLIS, D. Google Analytics as a Tool in the Development of e-Learning Artefacts: A Case Study. In: Brown, M.; Hartnett, M.; T. Stewart (eds.), Wellington, Nueva Zelanda. Actas de ASCILITE. Australian Society for Computers in Learning in Tertiary Education Annual Conference 2012, Web. 2012. http://www.ascilite.org/conferences/Wellington12/2012/ pagec16a.html

FERNANDES D. Para uma teoria da avaliação formativa. Revista Portuguesa de Educação, v. 19, n. 2, pp. 21-50. 2006.

FERNANDES, G. G. Interface Humano Computador: prática pedagógica para ambientes virtuais. EDUFPI: Teresina: Brasil, 2009.

GAGNE, R. M.; WAGER, W. W.; GOLAS, K.; KELLER, J. M. Principles of Instructional Design. 5 ed. Thomson y Wadsworth. Belmont: Estados Unidos, 2007.

GERHARDT, T. E.; SILVEIRA, D. T. (orgs.). Métodos de Pesquisa. Editora UFRGS. Porto Alegre: Brasil, 2009.

GIKANDI, J. W.; MORROW, D, N.; DAVIS, E. Online Formative Assessment in Higher Education: A Review of the Literature. Computers and Education, v. 57, n. 4, pp. 2333-2351. 2011.https://doi.org/10.1016/j.compedu.2011.06.004

GIL, A. C. Como elaborar projetos de pesquisa. 4 ed. Atlas. São Paulo: Brasil, 2008.

HADJI, C. Avaliação desmistificada. Artmed Editora. Porto Alegre: Brasil, 2001.

JENG, Y.-L.; WU, T.-T.; HUANG, Y.-M.; TAN, Q.; YANG, S. J. H. The Add-on Impact of Mobile Applications in Learning Strategies: A Review Study. Educational Technology & Society, v. 13, n. 3, pp. 3-11. 2010.

KIRNER, C.; SISCOUTTO, R. Realidade virtual e aumentada: Conceitos e aplicações. Petrópolis, Brasil. Libro del IX Symposiun on Virtual and Augmented Reality. Impreso. 2007.

LUCKESI, C. C. Avaliação da aprendizagem na escola: reelaborando conceitos e criando a prática. 2 ed. Malabares Comunicações e eventos. Salvador de Bahía: Brasil, 2005.

MARTIN, F.; NDOYE, A. Using Learning Analytics to Assess Student Learning in online Courses. Journal of University Teaching and Learning Pratice, v. 13, n. 3, p. 7. 2016.

PARSLOW, G. Commentary: Learning analytics: Ephemeral Rhetoric or Valuable Approach? Biochemistry and Molecular Biology Education, v. 42, n. 2, p. 178. 2014. https://doi.org/10.1002/bmb.20778

RUSHTON, A. Formative Assessment: a Key to Deep Learning? Medical Teacher, v. 27, n. 6, pp. 509- 513. 2005.https://doi.org/10.1080/01421590500129159

SILVA, T AND GALEMBECK, E. 3DClass: a virtual learning environment in a biochemistry classroom. Med Educ, v. 48, pp. 1111–1112. 2014.https://doi.org/10.1111/medu.12550

SEILHAMER, R.; CHEN, B.; SUGAR, A. A Framework for Implementing Mobile Technology. In: Z. Zane Berge and L. Muilenburg (eds.). Handbook of Mobile Learning. Routledge. Londres: Inglaterra. pp. 382- 394. 2013.

TRETTER, T. R.; JONES, M. G.; ANDRE, T.; NEGISHI, A.; MINOGUE, J. Conceptual Boundaries and Distances: Students’ and Experts’ Concepts of the Scale of Scientific Phenomena. Journal of Research in Science Teaching, v. 43, n. 3, pp. 282-319. 2006.https://doi.org/10.1002/tea.20123

UNITED STATES OF AMERICA. National Research Council (NRC): Committee on Developing Assessments of Science Proficiency in K-12. Developing Assessments for the Next Generation Science Standards. Pellegrino, J.W.; Wilson, M.R.; Koenig, J.A.; Beatty, A.S (eds.). The National Academies Press. Washington: Estados Unidos. 2014.

VLAARDINGERBROEK, B.; TAYLOR, N.; BALE, C. The problem of scale in the interpretation of pictorial representations of cell structure. Journal of Biological Education, v. 48, n. 3, p. 154-162. 2014.https://doi.org/10.1080/00219266.2013.849284