Predicción del logro académico en clases espejo: análisis sociodemográfico y pedagógico con minería de datos

Modelos de minería de datos

La minería de datos es una disciplina crucial en la era de la información que utiliza técnicas estadísticas y algoritmos de aprendizaje automático para descubrir patrones y conocimientos valiosos en conjuntos de datos (Vieira et al., 2009). En esencia, el aprendizaje automático implica entrenar modelos matemáticos a partir de una base de datos, y su utilidad radica en la capacidad de estos modelos para predecir eventos futuros (Moreno et al., 1994).

En este sentido, la minería de datos se ha consolidado como una herramienta invaluable en el ámbito académico, brindando la capacidad de extraer perspectivas profundas y significativas de los datos generados por estudiantes, docentes y sistemas de aprendizaje (Martínez-Abad & Hernández-Ramos, 2018).

La aplicación de esta disciplina en el ámbito educativo ofrece mejoras sustanciales en la toma de decisiones relacionada con la gestión escolar, la identificación de patrones de comportamiento estudiantil, la adaptación de la enseñanza y el aprendizaje a las necesidades individuales, y la predicción del rendimiento académico.

En el marco del estudio que aquí se presenta, se empleó la minería de datos con el propósito de generar modelos predictivos del rendimiento académico en clases espejo en diferentes niveles. Los modelos más influyentes y avanzados en la minería de datos, resaltando sus contribuciones y aplicaciones, son los siguientes:

Support Vector Classifier (SVC). Este algoritmo crea un modelo que asigna los datos a dos o más categorías posibles, representadas por puntos diferentes. El objetivo es encontrar el hiperplano con la máxima distancia (o margen) entre las dos clases, optimizando la clasificación.

Linear Discriminant Analysis (LDA). El LDA se utiliza para reducir la dimensionalidad del espacio de características, manteniendo la información que discrimina entre clases. Este método proyecta los datos de un espacio multidimensional a uno de menor dimensión, con la meta de maximizar la separabilidad entre las clases.

Logistic Regression (RLOG). Este es un método de clasificación que modela la probabilidad de que una determinada entrada pertenezca a una clase. El resultado se representa con una curva en forma de S (función sigmoide) que separa las clases en el espacio de características.

Desarrollo

Fase 1. Comprensión del problema o negocio. Se evaluó el problema y el contexto académico subyacente. Se procedió a diseñar y validar el cuestionario, analizando la comprensión de los lineamientos para medir los niveles del logro académico en las clases espejo de acuerdo con reglamento de la universidad. Se utilizaron las siguientes categorías: “cumple plenamente” (4.9 a 5.0), “cumple en alto grado” (4.2 a 4.8), “cumple aceptablemente” (3.0 a 4.1), “cumple en bajo grado” (2.0 a 2.9) y “cumple insatisfactoriamente” (0.0 a 1.9).

Fase 2. Adquisición y comprensión de datos. Este proceso inició con la recolección de datos mediante un cuestionario de Google Forms, generando 2678 datos disponibles para el análisis. La fiabilidad del instrumento, evaluada mediante el alfa de Cronbach en Python con un índice de confianza del 95 %, reveló un valor de 0.88. Seguidamente, se evaluó la estructura de los datos, su tipo, formato y significado. La variable que corresponde al logro académico de los participantes se categorizó en tres niveles, "cumple en alto grado", "cumple aceptablemente" y "cumple en bajo grado", considerando que los resultados de la recopilación de información mostraron tres niveles de los cinco definidos en la escala de valoración reglamentada por la Institución educativa.

Debido a esta distribución desbalanceada, se aplicaron técnicas de oversampling (aumento de datos minoritarios) y undersampling (reducción de datos mayoritarios). Esto aseguró que los algoritmos operaran eficientemente, sin sesgar su desempeño hacia la distribución original.

Utilizando Microsoft Excel, se eliminaron registros con campos nulos en un estudio de variables. La base de datos se convirtió al formato .csv para facilitar su manipulación con herramientas tecnológicas. Se procedió a construir un entendimiento de la tipología de los datos recolectados, dado que la gran mayoría eran de tipo object (i.e., texto). Esto se hizo mediante transformaciones, usando el one hot enconder o label encoder para convertir los datos en valores numéricos o múltiples columnas. Se binarizaron las salidas, como en el caso del género, asignando valores de 1 para una opción y 0 para la otra. No se hallaron datos atípicos o inconsistentes en este ejercicio.

Con el fin de evaluar la normalidad de los datos, se aplicó la prueba de Shapiro-Wilk. Los niveles de significancia de las variables oscilaron entre 0.0000021 y 0.0958000, siendo menores a 0.005 (p<0.005), lo que indica el rechazo de la hipótesis nula.

El análisis exploratorio de la variable sociodemográfica reveló que el 63 % de los sujetos se ubicaban en el índice socioeconómico 2, el 21 % en el estrato 1 y el 16 % restante en los estratos 3, 4 y 5. Se observo que 37 estudiantes hombres no vivían con sus padres, mientras que 30 sí lo hacían. En el caso de las mujeres, 17 no vivían con sus padres y 19 sí.

Respecto a la asociación entre el índice socioeconómico y la condición de vivir con los padres, la mayoría de los estudiantes, específicamente 54, pertenecían a los estratos socioeconómicos 1 y 2. En cuanto a la situación laboral, 68 estudiantes de los estratos 1, 2, 3, 4 y 5 no estaban empleados, siendo los estratos 1 y 2 los más prevalentes en esta categoría.

La Tabla 2 aborda las frecuencias de las dimensiones de la variable pedagógica, i.e., estímulos a la participación, planteamiento de objetivos, preparación de clase, necesidades de los estudiantes, puntualidad, trabajos colaborativos, materiales físicos necesarios, claridad de las actividades y su retroalimentación, atención de los docentes, profundización de temáticas, compartir experiencias con los compañeros, facilidad de expresión del docente, ayuda entre compañeros, recursos de apoyo y medios tecnológicos de comunicación.

Tabla 2: Frecuencias de las dimensiones de la variable pedagógica

La evaluación de los datos reveló patrones consistentes en las respuestas de los participantes, destacando que la mayoría de las frecuencias se situaron en las categorías "casi siempre" y "siempre". En cuanto a los estímulos a la participación, el 80 % de los estudiantes (n=83) indicó que los docentes utilizaron efectivamente un sistema de puntos o créditos, sugiriendo una práctica común que beneficia la participación estudiantil y potencialmente mejora el proceso de enseñanza-aprendizaje.

Adicionalmente, para el 82 % de los encuestados (n=85) destacó la presencia de un planteamiento de objetivos pedagógicos, evidenciando el compromiso de los docentes con establecer metas educativas claras en el contexto de la clase espejo.

La gran mayoría de los participantes (82 %, n=85) mencionaron que los docentes preparaban la clase espejo, lo que es esencial para garantizar la calidad y la coherencia en la presentación de la información y podría beneficiar la experiencia de aprendizaje de los estudiantes.

En relación con la atención de los docentes, un 72 % de los participantes (n=75) mostró un fuerte interés y reconoció la importancia de abordar estas necesidades. La puntualidad para comenzar las sesiones, reportada en un 72 %, destaca la importancia de la organización y la gestión eficiente del tiempo en el ámbito académico.

Las estrategias pedagógicas, como el trabajo colaborativo, el material físico, la retroalimentación de actividades, la atención de los docentes, la profundización de temáticas y el uso de medios tecnológicos de comunicación, reportaron valores satisfactorios: 82 % (n=85). Esto sugiere un alto grado de eficacia y compromiso en la implementación de estas estrategias, de acuerdo con el proyecto educativo de la institución.

Por otro lado, compartir experiencias con los compañeros y brindarles ayuda reportó una presencia del 76 % en las categorías "siempre" y "casi siempre". Este resultado señala la existencia de áreas de mejora y la necesidad de investigar más a fondo los factores que afectan la participación en este tipo de intercambio no académico.

Fase 3. Preparación de datos. Este proceso correspondió a la construcción del conjunto final de datos, para lo cual se llevó a cabo una rigurosa limpieza y transformación de los datos brutos, identificando y tratando valores atípicos o faltantes. Para adaptar las variables al modelo, se convirtió la variable del logro académico de texto a número, facilitando la implementación de técnicas de balanceo.

Se implementó la técnica de label encoder, asignando valores numéricos (0, 1, 2) a las categorías de una columna. El valor 0 indicaba cumplimiento aceptable, 1 denotaba un alto grado de cumplimiento y 2 representa un bajo grado. Se utilizó la librería scikit-learn, módulo preprocessing label encoder, versión 1.1.2, con Python 3.10 (Figura 2).

Figura 2: Distribución de la variable logro académico en clases espejo

Se observó una distribución desigual entre las clases, siendo el tipo 0 predominantemente representado y el tipo 2 menos frecuente. Es crucial considerar esta disparidad para garantizar una representación equitativa al entrenar los algoritmos.

Después de convertir los datos, se aplicó la técnica de validación cruzada con la metodología Train-Test Split, en aras de mejorar el modelo predictivo. Se seleccionó una proporción de 80 % para entrenamiento y 20 % para prueba, con un random state de 100. Los datos dispersos se normalizaron mediante el procedimiento de mínimos y máximos, reduciendo el ruido y optimizando las variables para la clasificación. Dada la distribución desbalanceada, se emplearon métodos de oversampling y undersampling para equilibrar las clases, asegurando una clasificación precisa en todo el conjunto de datos. Este enfoque garantiza una implementación efectiva y comprensible del modelado predictivo.

Se empleó la técnica DecisionTreeClassifier para obtener la métrica receiver operating characteristic (ROC), facilitando la comparación de sensibilidad y especificidad en modelos de clasificación binarios o multiclasificados. Los valores de ROC, variando de 0 a 1, deben aproximarse a 1 para obtener un rendimiento óptimo. Se consideraron también la sensibilidad, una métrica que evalúa la capacidad del algoritmo para clasificar correctamente, y la especificidad, que sirve para clasificar correctamente lo negativo. Nuestro enfoque se centró en analizar la clasificación de las clases 0, 1 y 2, representando logros académicos aceptable, alto y bajo, respectivamente.

La métrica ROC proporcionó una visión clara del rendimiento del algoritmo, facilitando la selección óptima. La Figura 3 muestra el área bajo la curva para cada clase; cuanto mayor es el área, mejor es el rendimiento.

Figura 3: Curva ROC multiclase, logro académico

En el caso de la clase 0, el equilibrio entre sensibilidad y especificidad fue de 0.65, clasificando correctamente 67 de 103 estudiantes en la categoría de logro académico aceptable. Para la clase uno 1, la curva ROC reveló 0.80, lo que implica que 82 de 103 estudiantes pudieron ser correctamente relacionados con un logro académico alto. En la clase 2, la métrica indicó 0.42, clasificando correctamente 43 de 103 estudiantes con un logro de bajo grado.

Si se analiza la curva de precisión y exhaustividad (Figura 4), el modelo desbalanceado destaca al clasificar eficientemente la clase 0, logrando un 78.3 %. Esto implica que 3.1 de cada 4 estudiantes fueron clasificados correctamente en este nivel. La precisión evalúa la calidad del modelo, mientras que la exhaustividad indica la cantidad de personas clasificadas según su clase.

Figura 4: Precisión y exhaustividad por clases, logro académico

En relación con la clase 1, el modelo logró una precisión del 69.5 %, identificando correctamente 2.8 de cada 4 estudiantes con alto rendimiento. Sin embargo, en la clase 2, solo alcanzó un 4.8 % debido al desbalance de datos, lo que dificultó la detección de bajo rendimiento.

Las Figuras 5 y 6 muestran una mejora significativa y generalizada en la sensibilidad y especificidad después de aplicar el balanceo de clases, lo que indica una mayor capacidad del modelo para identificar correctamente los verdaderos positivos y negativos en todas las clases. Aunque la precisión y exhaustividad de la clase 1 disminuyeron en comparación con las demás clases, este resultado puede deberse a una mejor distribución de los datos y a una mayor capacidad del modelo para reconocer patrones en las clases antes desbalanceadas.

Figura 5: Curva ROC multiclase, logro académico después de aplicar balanceo de clases

Figura 6: Precisión y exhaustividad por clases, logro académico después de aplicar balanceo de clases

Con el propósito de establecer similitudes y diferencias entre las variables, se empleó la matriz de correlación de las variables predictoras y el nivel del logro académico en la clase espejo. Los valores de correlación proporcionaron información sobre la fuerza y dirección de estas asociaciones, identificando las variables más influyentes. Este análisis permitió determinar qué variables son más significativas, lo que ayudará a ajustar las estrategias pedagógicas para futuras sesiones de formación.

La matriz de correlación de Spearman (Tabla 3) de la variable sociodemográfica, con sus respectivas dimensiones, presenta una correlación positiva moderada entre semestre y edad (rho=0.53), así como entre la variable “¿vive con padres?” y la puntualidad (rho=0.53), y entre “¿vive con padres?” y la ayuda entre compañeros (rho=0.55). Se hace evidente la necesidad de acompañamiento por parte de los padres en la labor pedagógica, pues todas las preguntas de esta dimensión mostraron un rango de 0.27-0.54. Además, se pudo estimar un mayor desempeño en aquellas personas que convivían con sus padres.

Tabla 3: Matriz de correlación Spearman para las variables sociodemográfica, pedagógica y logro académico

El estudio encontró una correlación positiva y robusta con la situación laboral. Se destacan las siguientes correlaciones: labor con esfuerzo mental (rho=0.93), activo laboralmente con esfuerzo físico (rho=0.93), activo laboralmente con número de horas (rho=0.95) y esfuerzo mental con número de horas (rho=0.97). Además, se observó que el hecho de trabajar y el esfuerzo mental y físico muestran las correlaciones más fuertes, que oscilan entre 0.89 y 0.97. Como dirección para futuras investigaciones, se propone analizar cómo las dimensiones relacionadas con el esfuerzo mental y físico en el trabajo pueden influir en el desarrollo académico, particularmente considerando que el horario de estudio suele ubicarse al final de la jornada laboral.

La Tabla 4 muestra la matriz de correlaciones entre las dimensiones de la variable pedagógica. La mayoría de los casos muestran asociaciones positivas fuertes (rho=0.60-0.79) y positivas muy fuertes (rho=0.80-1).

Tabla 4: Matriz de correlación de Spearman para las variables pedagógica y logro académico

Tal es el caso de las relaciones positivas muy fuertes entre diferentes aspectos de la interacción en el aula virtual. Por ejemplo, se destaca una correlación notable entre el planteamiento de objetivos y diversas variables, como las necesidades de los estudiantes (rho=0.82) y la puntualidad (rho=0.81). Asimismo, se encuentran relaciones significativas entre la puntualidad y varios aspectos, como la claridad de las actividades (rho=0.83) y la atención de los docentes (rho=0.86). Estas asociaciones sugieren una interconexión compleja entre varios aspectos del entorno educativo, lo que subraya la importancia de abordar múltiples variables para comprender completamente la dinámica de las clases espejo.

Fase 4. Modelado. Se aplicaron técnicas de modelado, ajustando parámetros óptimos a los datos. Se establecieron conjuntos de entrenamiento y prueba (80 y 20 % respectivamente) para evaluar los modelos y verificar la similitud entre los estimadores estadísticos, asegurando la fiabilidad de los resultados. Se utilizó la variable predictora LogroAca (logro académico) para poder clasificar la clase de cada estudiante (alto, aceptable o bajo grado).

El primer algoritmo que se modeló se denomina linear discriminant analysis (LDA) y optimiza hiperparámetros que permiten que las predicciones sean resistentes al ruido en la fuente de datos. Se utilizó el teorema de Bayes para estimar la probabilidad condicional, esencialmente calculando la relación entre eventos A y B.

P(B|A) =P(AB)/ P(A)

El algoritmo SVM permite encontrar una superficie de decisión óptima basada en datos, representada por un hiperplano en un espacio dimensional igual al número de atributos del conjunto de datos.

Diversas líneas o hiperplanos pueden separar los datos en dos categorías. La Figura 7 delimita 12 observaciones en un plano, con una línea continua para las clases y líneas discontinuas para los márgenes. Los números 7, 9 y 10 están bien clasificados para la clase azul, mientras que los números del 1 al 6 lo están para la clase roja. Aunque el número 8 está fuera del margen de la clase, pertenece a la clase azul. Sin embargo, el número 11 y 12 están mal clasificados, perteneciendo a la clase roja.

Figura 7: Técnica de modelado SVC

El hiperplano óptimo es aquel que se encuentra más alejado de todas las observaciones, evitando sesgos en la clasificación de nuevos datos. Este enfoque es más robusto ante errores de clasificación, pues emplea penalizaciones para errores fuera del margen del hiperplano. Un valor cercano a cero amplía el margen, permitiendo que varias observaciones violen la clasificación correcta.

También se utilizó el algoritmo RLOG multinomial para predecir y clasificar el nivel de logro académico, identificando las variables influyentes. Se utilizó la muestra de entrenamiento para estimar el modelo con base en 2756 observaciones, creando variables ficticias (dummies) que representaban las categorías de cada variable, las cuales eran dicotómicas; mostraban valores de 1 si pertenecían a la categoría y 0 si no).

Fase 5. Evaluación del modelo. Se evaluó la calidad de los modelos utilizando métricas estadísticas y siguiendo el enfoque propuesto por Chapman et al. (2000). Los algoritmos entrenados se evaluaron utilizando la matriz de confusión de la librería Sklearn, que permitió analizar la precisión de la clasificación binaria (1: desertores, 0: no desertores) mediante verdaderos positivos (TP), falsos positivos (FP), verdaderos negativos (TN) y falsos negativos (FN).

La precisión en tareas de clasificación evalúa la proporción de TP respecto a la suma de TP y FP. El recall indica la capacidad del modelo para identificar TP respecto a la suma de TP y FN. El valor F1 combina precisión y recall en una sola métrica, y se calcula como la media armónica entre ambas. La exactitud (accuracy) mide el porcentaje de aciertos del modelo, calculada como la proporción de TP y TN respecto a la suma de TP, TN, FP y FN.

Se compararon los resultados de desempeño de los tres modelos supervisados en dos etapas. En la primera etapa (Tabla 5) se utilizaron todas las variables del cuestionario. El SVC mostró una eficiencia general del 0.62, seguido por el RLOG multinomial con 0.57 y el LDA con 0.43. No hubo diferencias significativas entre los modelos en términos de eficiencia.

Tabla 5: Métricas iniciales de cada modelo

En la predicción de la clase 0 (logro académico aceptable), se destacó el algoritmo SVC con una exhaustividad del 0.53, indicando que 2 de cada 4 estudiantes pueden clasificarse en esta categoría según las variables pedagógica y demográfica. El valor F de 0.67 señaló un equilibrio entre precisión y recall, lo que significa que 67 de 100 estudiantes pueden ser clasificados correctamente en esta categoría.

Así, el algoritmo inicial mostró un excelente desempeño, pues los datos provenían de una población gaussiana, lo que permitió la separación lineal de las clases. Esto significa que las líneas del hiperplano y sus bordes son totalmente excluyentes y robustos frente a errores de clasificación.

El mejor algoritmo para la case 1 (logro académico de alto grado) fue el LDA, con una exhaustividad del 80 %. Esto implica que, según las variables pedagógica y demográfica, es posible clasificar adecuadamente a 3 de cada 4 estudiantes en esta categoría. Además, el LDA reportó un valor F de 0.67, lo que indica un equilibrio entre precisión y recuperación, permitiendo clasificar correctamente al 67 % de los estudiantes en la categoría 1.

El algoritmo más efectivo para la clase 2 (logro académico de bajo grado) fue nuevamente el SVC, con un equilibrio perfecto de 1.00. Este algoritmo fue el único que logró evaluar tanto precisión como recall con un valor de 0.40.

La segunda instancia del análisis (Tabla 6) involucró el uso de los modelos LDA, SVC y RLOG multinomial con las variables de más alta correlación y los mayores valores de precisión mencionados en la fase anterior.

Tabla 6. : Métricas de los modelos en la segunda fase del análisis

La eficiencia del LDA aumentó en 0.05, pero la clasificación “cumple en alto grado” desmejoró y perdió equilibrio. La estandarización de datos reveló mejoras en algunos algoritmos, mientras que otros permanecieron sin cambios. Tanto el SVC como el RLOG multinomial mostraron mejoras consistentes en todas las clases y métricas relacionadas con el rendimiento académico en términos pedagógicos y demográficos. El SVC destacó por su alta capacidad de clasificación, mientras que el RLOG multinomial fue más efectivo para clasificaciones de bajo grado.

Fase 6. Despliegue. Este paso integró la utilidad de los modelos en un entorno de operativo. Esto implicó incorporar los modelos y hallazgos en sistemas existentes, realizar pruebas de funcionamiento y garantizar que el despliegue fuera efectivo y sostenible a largo plazo. Además, se consideraron aspectos como la documentación, la capacitación del personal y el monitoreo continuo para asegurar que el sistema funcionara según lo previsto y se lograran los objetivos empresariales.

Para ello, se empleó la biblioteca Streamlit de Python 3.10, facilitando la creación de un entorno de despliegue local rápido para visualizar, en tiempo real, el modelo desarrollado en batch, i.e., el SVC. Además, se implementó un desarrollo web fácilmente escalable para futura producción en Heroku. Se llevaron a cabo pruebas unitarias simples para evaluar la clasificación de clases según los datos ingresados, las cuales fueron exitosas.