DOI:
https://doi.org/10.14483/23448350.17547Publicado:
05/01/2021Número:
Vol. 41 Núm. 2 (2021): Mayo-Agosto 2021Sección:
EducaciónTecnología y analítica del aprendizaje: una revisión a la literatura
Technology and Learning Analytics: A Literature Review
Palabras clave:
analytics, educational research, engineering education, learning analytics, machine learning (en).Palabras clave:
analítica, analítica del aprendizaje, aprendizaje automático, educación en ingeniería, investigación educacional (es).Descargas
Referencias
Abdullah, A., Asar, A. K., Ruzelan, N. (2020). A Novel Learning Engagement Data Model (LEDM) for Online Attendance System. IOP Conference Series: Materials Science and Engineering, 769, e012026. https://doi.org/10.1088/1757-899x/769/1/012026
Adekitan, A. I., Noma-Osaghae, E. (2019). Data Mining Approach to Predicting the Performance of First Year Student in a University Using the Admission Requirements. Education and Information Technologies, 24(2), 1527-1543. https://doi.org/10.1007/s10639-018-9839-7
Agudo-Peregrina, Á. F., Iglesias-Pradas, S., Conde-González, M. Á., Hernández-García, Á. (2014). Can We Predict Success from Log Data in VLEs? Classification of Interactions for Learning Analytics and their Relation with Performance in VLE-supported F2F and Online Learning. Computers in Human Behavior, 31, 542-550. https://doi.org/10.1016/j.chb.2013.05.031
Akçapınar, G., Altun, A., Aşkar, P. (2019). Using Learning Analytics to Develop Early-Warning System for At-Risk Students. International Journal of Educational Technology in Higher Education, 16(1), e40. https://doi.org/10.1186/s41239-019-0172-z
Al-araibi, A., Mahrin, M., Yusoff, R. (2019a). Technological Aspect Factors of E-Learning Readiness in Higher Education Institutions: Delphi Technique. Education and Information Technologies, 24(1), 567-590. https://doi.org/10.1007/s10639-018-9780-9
Al-araibi, A., Mahrin, M., Yusoff, R., Chuprat, S. (2019b). A Model for Technological Aspect of E-Learning Readiness in Higher Education. Education and Information Technologies, 24(2), 1395-1431. https://doi.org/10.1007/s10639-018-9837-9
Al-Barrak M. A., Al-Razgan, M. (2016). Predicting Students Final GPA Using Decision Trees: A Case Study. International Journal of Information and Education Technology, 6(7), 528-533. https://doi.org/10.7763/IJIET.2016.V6.745
Almaiah, M. A., Al-Khasawneh, A., Althunibat, A. (2020). Exploring the Critical Challenges and Factors Influencing the E-Learning System Usage During Covid-19 Pandemic. Education and Information Technologies, 25, 5261-5280. https://doi.org/10.1007/s10639-020-10219-y
Alves, P., Morais, C., Miranda, L. (2017). Learning Analytics in Higher Education: Assessing Learning Outcomes. European Conference on E-Learning, 25-32.
Azcona, D., Hsiao, I.-H., Smeaton, A. F. (2019). Detecting Students-At-Risk in Computer Programming Classes with Learning Analytics from Students’ Digital Footprints. User Modeling and User-Adapted Interaction, 29(4), 759-788. https://doi.org/10.1007/s11257-019-09234-7
Azzi, I., Jeghal, A., Radouane, A., Yahyaouy, A., Tairi, H. (2020). A Robust Classification to Predict Learning Styles in Adaptive E-Learning Systems. Education and Information Technologies, 25(1), 437-448. https://doi.org/10.1007/s10639-019-09956-6
Back, D. A., Behringer, F., Harms, T., Plener, J., Sostmann, K., Peters, H. (2015). Survey of E-Learning Implementation and Faculty Support Strategies in a Cluster Of Mid-European Medical Schools. BMC Medical Education, 15, 1-9. https://doi.org/10.1186/s12909-015-0420-4
Brown, M. (2011). Learning Analytics: The Coming Third Wave. Educause Learning Initiative, 1(4), 1-4.
Campbell, J. DeBlois, P., Oblinger, D. (2007). Academic Analytics: A New Tool for a New Era. Educause, 42(4).
Castrillón, O. D., Sarache, W., Ruiz-Herrera, S. (2020). Predicción del rendimiento académico por medio de técnicas de inteligencia artificial. Formación Universitaria, 13(1), 93-102. https://doi.org/10.4067/s0718-50062020000100093
Chen, H.-J. (2020). Clarifying the Impact of Surprise in E-Learning System Design Based on University Students with Multiple Learning Goals Orientation. Education and Information Technologies, 25, 5873-5892. https://doi.org/10.1007/s10639-020-10249-6
Chen, L., Yoshimatsu, N., Goda, Y., Okubo, F., Taniguchi, Y., Oi, M., Konomi, S., Shimada, A., Ogata, H., Yamada, M. (2019). Direction of Collaborative Problem Solving-Based STEM Learning by Learning Analytics Approach. Research and Practice in Technology Enhanced Learning, 14(1), e24. https://doi.org/10.1186/s41039-019-0119-y
Contreras, L., Fuentes, H., Rodríguez, J. (2020). Predicción del rendimiento académico como indicador de éxito/fracaso de los estudiantes de ingeniería, mediante aprendizaje automático. Formación Universitaria, 13(5), 233-246. https://doi.org/10.4067/s0718-50062020000500233
Contreras, L., Rodríguez, J., Fuentes, H. (2021). Analítica académica: nuevas herramientas aplicadas a la educación. Boletín Redipe, 10(3), 137-158. https://doi.org/10.36260/rbr.v10i3.1225
Covadonga, M. (2019). Analíticas del aprendizaje: clasificación, descripción y predicción del aprendizaje de los estudiantes. Revista Iberoamericana de Educación, 80(1), 9-11.
Daniel, B. (2015). Big Data and Analytics in Higher Education: Opportunities and Challenges. British Journal of Educational Technology, 46(5), 904-920. https://doi.org/10.1111/bjet.12230
De Arco-Paternina, L. K., Barrios-Barceló, H. de J., Parra-Ortega, G. M. (2017). Análisis de factibilidad de un sistema de educación B-learning: caso de estudio Universidad de San Buenaventura. Academia y Virtualidad, 10(2), 7-19. https://doi.org/10.18359/ravi.2706
Ellis, R., Han, F., Pardo, A. (2017). Improving Learning Analytics: Combining Observational and Self-Report Data on Student Learning. Educational Technology and Society, 20(3), 158-169.
Er, E. Gómez-Sánchez, E., Dimitriadis, Y. Bote-Lorenzo, M. L., Asensio-Pérez, J. I., Álvarez-Álvarez, S. (2019). Aligning Learning Design and Learning Analytics through Instructor Involvement: A MOOC Case Study. Interactive Learning Environments, 27(5-6), 1-15. https://doi.org/10.1080/10494820.2019.1610455
Estrada, J., Torres N., Vásquez D., Quintero R., Castellanos M. (2015). Bajo rendimiento académico en la Universidad Distrital Francisco José de Caldas. Editorial UD.
Eze, S. C., Chinedu-Eze, V. C., Bello, A. O. (2018). The Utilisation of E-Learning Facilities in the Educational Delivery System of Nigeria: A Study of M-University. International Journal of Educational Technology in Higher Education, 15(1), e34. https://doi.org/10.1186/s41239-018-0116-z
Ferguson, R. (2012). Learning Analytics: Drivers, Developments and Challenges. International Journal of Technology Enhanced, 4(5-6), 304-317.
Fernández, O. Ramos, E., Goñi, Rodríguez A. (2020). The Role of Social Support in School Adjustment during Secondary Education. Psicothema, 32(1), 100-107.
García Tinisaray, D. K. (2016). Construcción de un modelo para determinar el rendimiento académico de los estudiantes basado en learning analytics (análisis del aprendizaje), mediante el uso de técnicas multivariantes (Tesis Doctoral). Universidad de Sevilla.
Giannakos, M., Chorianopoulos, K., Chrisochoides, N. (2015). Making Sense of Video Analytics: Lessons Learned from Clickstream Interactions, Attitudes, and Learning Outcome in a Video-Assisted Course. International Review of Research in Open and Distributed Learning, 16(1), 260-284. https://doi.org/10.19173/irrodl.v16i1.1976
Gibson, D., de Freitas, S. (2016). Exploratory Analysis in Learning Analytics. Technology, Knowledge and Learning, 21(1), 5-19.
González, Ó., Aguilar, M. A., Aguilar, F. J., Lucas, M. (2018). Evaluación de entornos inmersivos 3D como herramienta de aprendizaje B-Learning. Educación XX1, 21(2), 417-440. https://doi.org/10.5944/educXX1.16204
González, L., Lugo, C. (2020). Fortalecimiento de la práctica docente con Learning Analytics: estudio de caso. Praxis & Saber, 11(25), 221-245. https://doi.org/10.19053/22160159.v11.n25.2020.9075
Gottipati, S., Shankararaman, V. (2018). Competency Analytics Tool: Analyzing Curriculum Using Course Competencies. Education and Information Technologies, 23(1), 41-60. https://doi.org/10.1007/s10639-017-9584-3
Greller, W, Drachsler, H. (2012). Translating Learning into Numbers: A Generic Framework for Learning Analytics. Journal of Educational Technology & Society, 15(3), 42-57.
Guillén-Guerrero, G., Martínez, O. A. (2019). Impacto de la capacitación docente con formato b-learning sobre la metodología docente y evaluativa de los profesores. Revista Ibérica de Sistemas e Tecnologias de Informação, 21,166-176.
Hackeling, G. (2014). Mastering Machine Learning with Scikit-Learn. Packt.
Hasan, R., Palaniappan, S., Mahmood, S., Abbas, A., Sarker, K. U., Sattar, M. U. (2020). Predicting Student Performance in Higher Educational Institutions Using Video Learning Analytics and Data Mining Techniques. Applied Sciences, 10(11), e3894. https://doi.org/10.3390/app10113894
Jivet, I., Scheffel, M., Schmitz, M., Robbers, S., Specht, M., Drachsler, H. (2020). From Students with Love: An Empirical Study on Learner Goals, Self-Regulated Learning and Sense-Making of learning Analytics in Higher Education. Internet and Higher Education, 47, e100758. https://doi.org/10.1016/j.iheduc.2020.100758
Jo, I.-H., Kim, D., Yoon, M. (2015). Constructing Proxy Variables to Measure Adult Learners’ Time Management Strategies in LMS. Educational Technology & Society, 18(3), 214-225.
Johnson, L., Adams, S., Estrada, V., Freeman, A. (2015). NMC Horizon Report: Edición Educación Superior 2015. The New Media Consortium. https://library.educause.edu/-/media/files/library/2015/2/2015hrhees.pdf
Karaoglan F., Yilmaz, R. (2020). Student Opinions About Personalized Recommendation and Feedback Based on Learning Analytics. Technology, Knowledge and Learning, 25(4), 753-768. https://doi.org/10.1007/s10758-020-09460-8
Kauffman, C., Derazin, M., Asmar, A., Kibble, J. (2019). Patterns of Medical Student Engagement in a Second-Year Pathophysiology Course: Relationship to USMLE Step 1 Performance. Advances in Physiology Education, 43(4), 512-518. https://doi.org/10.1152/advan.00082.2019
Kew, S. N., Petsangsri, S., Ratanaolarn, T., Tasir, Z. (2018). Examining the Motivation Level of Students in E-Learning in Higher Education Institution in Thailand: A Case Study. Education and Information Technologies, 23(6), 2947-2967. https://doi.org/10.1007/s10639-018-9753-z
Khalil, M., Ebner, M. (2015). Learning Analytics: Principles and Constraints. World Conference on Educational Multimedia, Hypermedia and Telecommunications. https://doi.org/10.13140/RG.2.1.1733.2083
Kim, H. J., Hong, A. J., Song, H.-D. (2018). The Roles of Academic Engagement and Digital Readiness in Students’ Achievements in University E-Learning Environments. International Journal of Educational Technology in Higher Education, 16, e21. https://doi.org/10.1186/s41239-019-0152-3
Kim, J., Jo, I.-H., Park, Y. (2016). Effects of Learning Analytics Dashboard: Analyzing the Relations among Dashboard Utilization, Satisfaction, and Learning Achievement. Asia Pacific Education Review, 17(1), 13-24. https://doi.org/10.1007/s12564-015-9403-8
Kitchenham, B. (2004). Procedures for Performing Systematic Reviews (Informe técnico). Universidad de Keele.
Kitchenham, B. A., Charters, S. (2007). Guidelines for Performing Systematic Literature Reviews in Software Engineering (Informe tecnico). Universidad de Keele - Universidad de Durham.
Kitchenham, B., Pearl Brereton, O., Budgen, D., Turner, M., Bailey, J., Linkman, S. (2009). Systematic Literature Reviews in Software Engineering: A Systematic Literature Review. Information and Software Technology, 51(1), 7-15. https://doi.org/10.1016/j.infsof.2008.09.009
Klein, C., Lester, J., Rangwala, H., Johri, A. (2019). Technological Barriers and Incentives to Learning Analytics Adoption in Higher Education: Insights from Users. Journal of Computing in Higher Education, 31(3), 604-625. https://doi.org/10.1007/s12528-019-09210-5
Kuliya, M., Usman, S. (2020). Perceptions of E-learning among Undergraduates and Academic Staff of Higher Educational Institutions in North-Eastern Nigeria. Education and Information Technologies, 26, 1787-1811. https://doi.org/10.1007/s10639-020-10325-x
Li, S., Chen, G., Xing, W., Zheng, J., Xie, C. (2020). Longitudinal Clustering of Students’ Self-Regulated Learning Behaviors in Engineering Design. Computers and Education, 153, e103899. https://doi.org/10.1016/j.compedu.2020.103899
Long, P., Siemens, G. (2011). Penetrating the Fog: Analytics in Learning and Education. Educause, 46(5), 30-32.
Long, P., Siemens, G., Conole, G., Gašević, D. (2011). En Proceedings of the 1st International Conference on Learning Analytics and Knowledge.
Lonn, S., Aguilar, S., Teasley, S. (2015). Investigating Student Motivation in the Context of a Learning Analytics Intervention During a Summer Bridge Program. Computers in Human Behavior, 47, 90-97. https://doi.org/10.1016/j.chb.2014.07.013
Luo, L., Cheng, X., Wang, S., Zhang, J., Zhu, W., Yang, J., Liu, P. (2017). Blended Learning with Moodle in Medical Statistics: An Assessment of Knowledge, Attitudes and Practices Relating to E-Learning. BMC Medical Education, 17(1), 1-8. https://doi.org/10.1186/s12909-017-1009-x
Mamcenko, J., Kurilovas, E. (2017). On Using Learning Analytics to Personalise Learning in Virtual Learning Environments. European Conference on E-Learning, 1, 353-361.
Martin, F., Whitmer, J. C. (2016). Applying Learning Analytics to Investigate Timed Release in Online Learning. Technology, Knowledge and Learning, 21(1), 59-74. https://doi.org/10.1007/s10758-015-9261-9
Medina, E. C., Chunga, C. B., Armas-Aguirre, J., Grandón, E. E., Bío-Bío, U. (2020). Predictive Model to Reduce the Dropout Rate of University Students in Perú: Bayesian Networks vs. Decision Trees. 15th Iberian Conference on Information Systems and Technologies. https://doi.org/10.23919/cisti49556.2020.9141095
Mirabolghasemi, M., Choshaly, S. H., Iahad, N. A. (2019). Using the HOT-Fit Model to Predict the Determinants of E-Learning Readiness in Higher Education: A Developing Country’s Perspective. Education and Information Technologies, 24(6), 3555-3576. https://doi.org/10.1007/s10639-019-09945-9
Muljana, P. S., Luo, T. (2020). Utilizing Learning Analytics in Course Design: Voices from Instructional Designers in Higher Education. Journal of Computing in Higher Education, 33, 206-234. https://doi.org/10.1007/s12528-020-09262-y
Murnion, P., Helfert, M. (2013). Academic Analytics in Quality Assurance Using Organisational Analytical Capabilities. En UK Academy for Information Systems Conference Proceedings 2013.
Ngan, S.-C., Law, K. (2015). Exploratory Network Analysis of Learning Motivation Factors in E-Learning Facilitated Computer Programming Courses. The Asia-Pacific Education Researcher, 24(4), 705-717. https://doi.org/10.1007/s40299-014-0223-0
Nguyen, Q., Tempelaar, D., Rienties, B., Giesbers, B. (2016). What Learning Analytics-Based Prediction Models Tell Us about Feedback Preferences of Students. Quarterly Review of Distance Education, 17(3), 13-33.
Norris, D. M., Lefrere, P. (2011). Transformation through Expeditionary Change Using Online Learning and Competence-Building Technologies. Research in Learning Technology, 19(1), 61-72. https://doi.org/10.3402/rlt.v19i1.17105
Núñez, E., Monclúz, I. M., Ravina, R. (2019). El impacto de la utilización de la modalidad B-Learning en la educación superior. Alteridad: Revista de Educación, 14(1), 26-39. https://doi.org/10.17163/alt.v14n1.2019.02
Olsen, J., Sharma, K., Rummel, N., Aleven, V. (2020). Temporal Analysis of Multimodal Data to Predict Collaborative Learning Outcomes. British Journal of Educational Technology, 51(5), 1527-1547. https://doi.org/10.1111/bjet.12982
Pérez, E. L., Salcedo, E. (2015). Estructuras de decisión a partir del aprendizaje autorregulado en ambientes B- Learning. Tecnura, 19, 15-24.
Pham, L., Limbu, Y. B., Bui, T. K., Nguyen, H. T., Pham, H. T. (2019). Does E-Learning Service Quality Influence E-Learning Student Satisfaction and Loyalty? Evidence from Vietnam. International Journal of Educational Technology in Higher Education, 16(1), e7. https://doi.org/10.1186/s41239-019-0136-3
Pineda, J., Tamayo, L. (2016). E-moderating and E-tivities: The Implementation of a Workshop to Develop Online Teaching Skills in In-service Teachers. Profile Issues in Teachers’ Professional Development, 18(1), 97-114. https://doi.org/10.15446/profile.v18n1.44269
Queiroga, E. M., Lopes, J. L., Kappel, K., Aguiar, M., Araújo, R. M., Munoz, R., Villarroel, R., Cechinel, C. (2020). A Learning Analytics Approach to Identify Students at Risk of Dropout: A Case Study with a Technical Distance Education Course. Applied Sciences, 10(11), e3998. https://doi.org/10.3390/app10113998
Rajak, A. N., Abu Bakar, N. N., Lajim, N. D., Kamarulzaman, N. H., Karim, S. N. Almunawar, M. N. (2018). E-Learning Services Acceptance in Higher Educational Institutes: A Case Study in Brunei. Education and Information Technologies, 23, 2341-2361. https://doi.org/10.1007/s10639-018-9720-8
Salajegheh, A., Jahangiri, A., Dolan-Evans, E., Pakneshan, S. (2016). A Combination of Traditional Learning and E-Learning Can Be More Effective on radiological Interpretation Skills in Medical Students: A Pre- and Post-Intervention Study. BMC Medical Education, 16(1), 1-7. https://doi.org/10.1186/s12909-016-0569-5
Schroeder, U. (2009). Web-Based Learning - Yes We Can! En M. Spaniol, Q. Li, R. Klamma, R. Lau (eds.), Advances in Web Based Learning - ICWL 2009 (pp. 25-33). Springer. https://doi.org/10.1007/978-3-642-03426-8_3
Seoane, A. (2014). Formalización de un modelo de formación online basado en el factor humano y la presencia docente mediante un lenguaje de patrón (Tesis Doctoral). Universidad de Salamanca. https://doi.org/10.14201/gredos.123342
Stewart, C. (2017). Learning Analytics: Shifting from Theory to Practice. Journal on Empowering Teaching Excellence, 1(1), e10. https://doi.org/10.15142/T3G63W
Tahir, R., Wang, A. I. (2020). Codifying Game-Based Learning: Development and Application of LEAGUE Framework for Learning Games. Electronic Journal of E-Learning, 18(1), 69-87. https://doi.org/10.34190/EJEL.20.18.1.006
Tenpipat, W., Akkarajitsakul, K. (2020). Student Dropout Prediction: A KMUTT Case Study. En International Conference on Big Data Analytics and Practices.
Teo, T., Kim, S. L., Jiang, L. (2020). E-Learning Implementation in South Korea: Integrating Effectiveness and Legitimacy Perspectives. Information Systems Frontiers, 22(2), 511-528. https://doi.org/10.1007/s10796-018-9874-3
Tomasevic, N., Gvozdenovic, N., Vranes, S. (2020). An Overview and Comparison of Supervised Data Mining Techniques for Student Exam Performance Prediction. Computers and Education, 143, e103676. https://doi.org/10.1016/j.compedu.2019.103676
Urteaga, I., Siri, L., Garófalo, G. (2020). Predicción temprana de deserción mediante aprendizaje automático en cursos profesionales en línea. Revista Iberoamericana de Educación a Distancia, 23(2), 147-167. https://doi.org/10.5944/ried.23.2.26356
Vesin, B., Mangaroska, K., Giannakos, M. (2018). Learning in Smart Environments: User-Centered Design and Analytics of an Adaptive Learning System. Smart Learning Environments, 5(1), e24. https://doi.org/10.1186/s40561-018-0071-0
Viberg, O., Hatakka, M., Bälter, O., Mavroudi, A. (2018). The Current Landscape of Learning Analytics in Higher Education. Computers in Human Behavior, 89, 98-110. https://doi.org/10.1016/j.chb.2018.07.027
Wang, Q., Wu, W., Qi, Y. (2018). A Learning Analytic Model for Smart Classroom. En L. Hou, H. Xie (Eds.), Web and Big Data: APWeb-WAIM 2018 International Workshops (pp. 219-229). Springer.
Wen, C.-T., Chang, C.-J., Chang, M.-H., Fan Chiang, S.-H., Liu, C.-C., Hwang, F.-K., Tsai, C.-C. (2018). The Learning Analytics of Model-Based Learning Facilitated by a Problem-Solving Simulation Game. Instructional Science, 46(6), 847-867. https://doi.org/10.1007/s11251-018-9461-5
Wiyono, S., Abidin, T. (2019). Comparative Study of Machine Learning KNN, SVM, and Decision Tree Algorithm to Predict Student’s. International Journal of Research Granthaalayah, 7(1), 190-196. https://doi.org/10.5281/zenodo.2550651
Yen, C.-H., Chen, I.-C., Lai, S.-C., Chuang, Y.-R. (2015). An Analytics-Based Approach to Managing Cognitive Load by Using Log Data of Learning Management Systems and Footprints of Social Media. Journal of Educational Technology & Society, 18(4), 141-158.
Zacharias, D., Athanasios, A. (2020). Monitoring of the Results through a Survey Concerning the Socio-Economic Characteristics of the Elderly Using Geographic Information Systems (GIS): A Case Study in Greece. International Journal of Innovation and Economic Development, 6(3), 36-45. https://doi.org/10.18775/ijied.1849-7551-7020.2015.63.2004
Cómo citar
APA
ACM
ACS
ABNT
Chicago
Harvard
IEEE
MLA
Turabian
Vancouver
Descargar cita
Recibido: de febrero de 2021; Aceptado: de abril de 2021
Resumen
Se presenta un trabajo relacionado con la analítica del aprendizaje, la cual consiste en la recopilación y el análisis de datos generados por los estudiantes y sus iteraciones, con el fin de comprender y optimizar el aprendizaje. Se plantea una revisión referencial de los últimos cinco años a través de bases de datos con el fin de identificar aspectos relativos al crecimiento de este enfoque y sus campos de aplicación en la educación superior. El volumen de investigaciones relacionadas va en aumento debido a la necesidad de investigar modelos más acertados de predicción y de nuevos algoritmos dentro del área de la ciencia de datos.
Palabras clave:
aprendizaje basado en problemas, competencias científicas, contexto, enseñanza de las ciencias..Abstract
A study concerning learning analytics is presented. This area consists of the collection and analysis of data generated by students and their iterations with the purpose of understanding and optimizing learning. By using databases, a referential review of the last five years is proposed to identify aspects related to the growth of this approach and its fields of application in higher education. The volume of related research is increasing due to the need to investigate more accurate predictive models and new algorithms in the field of data science.
Keywords:
analytics, educational research, engineering education, learning analytics, machine learning..Resumo
O objetivo do presente estudo foi analisar a apropriação e com base nessa proposta o desenho de unidades didáticas contextualizadas por meio da Aprendizagem Baseada em Problemas (PBL). Este trabalho faz parte de um tipo de pesquisa qualitativa, por meio de um desenho de estudo de caso, realizado a partir da análise do contexto de sala de aula, com um exercício de autoavaliação realizado com 32 alunos do 11º ano de uma Instituição Educacional Pública do Caribe colombiano. além de entrevistas com oito professores de Ciências Naturais dessa instituição de ensino. Os achados desta pesquisa mostram que grande parte dos alunos desconhece a importância das competências científicas, o que se evidencia no baixo nível de apropriação da aprendizagem do conceito de “Influência humana na dinâmica das populações ecológicas”. Da mesma forma, professores declaram pouca utilização de metodologias e estratégias didáticas que favoreçam a aprendizagem e o desenvolvimento de competências científicas. Portanto, sugere-se a implementação de uma proposta didática relacionada ao desenho de unidades didáticas sob a abordagem da ABP para o ensino de Ciências Naturais.
Palavras-chaves:
aprendizagem baseada em problemas, competências em ciencias, contexto, ensino de ciencias..Introducción
Debido a la incursión de las tecnologías de la información y la comunicación (TIC) en la educación superior se han diversificado las modalidades y se han potenciado las técnicas de aprendizaje apoyadas en TIC. Una de las modalidades pioneras es la denominada e-learning (modalidad de aprendizaje electrónico) que permite a los estudiantes apropiarse de nuevos conocimientos mediante el uso de la internet (Contreras et al., 2020). Así mismo se encuentra en la literatura el uso de dispositivos móviles (tabletas y teléfonos) y reproductores de música como medio de formación de los estudiantes, este es conocido como Mobile Learning (Olsen et al., 2020). Adicionalmente, el uso de las potencialidades del e-learning y de la enseñanza presencial dio origen al B-Learning que según Pineda y Tamayo (2016) y Jivet et al. (2020) puede definirse como una forma de aprendizaje para los estudiantes, que combina lo mejor de la enseñanza por medio de actividades presenciales con mejoras tecnológicas y estrategias pedagógicas introducidas a la educación por medio de la tecnología no presencial.
Entre tanto, el docente ha tenido que pasar de ser un orientador en el proceso de adquisición y aplicación de los conocimientos -generador y evaluador de contenidos que faciliten el proceso-, a ser analista de datos, debido a su interés por mejorar su propia acción docente y la formación académica de los estudiantes para mejorar sus resultados y poder obtener una formación profesional adecuada (Covadonga, 2019)
En efecto, a partir de cada una de las modalidades mencionadas, se ha generado una cantidad de datos producto de las iteraciones de los diferentes actores del proceso (docente, institución y estudiantes), los cuales son almacenados en plataformas y bases de datos (Schroeder, 2009) y pueden ser analizados con el fin de tratar de mejorar los procesos educativos, realizar seguimiento a indicadores del sistema y predecir dificultades estudiantiles y mejoras de los procesos institucionales (Estrada et al., 2015; Kuliya y Usman, 2020).
Precisamente, para desarrollar modelos por medio de la analítica de datos en la educación superior se han utilizado diferentes métodos, desde el área de la matemática, pasando por la estadística y la minería de datos, hasta llegar al Machine Learning o aprendizaje automático (Teo et al., 2020), que es un área perteneciente al campo de la inteligencia artificial, haciendo uso de datos de plataformas de aprendizaje en línea incorporadas por las universidades (Al-araibi et al., 2019a; Wang et al., 2018) o realizando análisis con base en los datos históricos (Fernández et al., 2020).
El propósito de la revisión referencial consiste en examinar la literatura de los últimos cinco años referente al campo de la analítica del aprendizaje aplicada en educación superior, con el fin de identificar aspectos relativos a su crecimiento y su aplicación a diversas modalidades de aprendizaje (Viberg et al., 2018), así como identificar las técnicas, los métodos y el software que se han estado utilizando.
Mediación tecnológica y analítica
En el campo educativo se ha surtido una serie de cambios en la búsqueda de mejorar el proceso de enseñanza-aprendizaje, así como el desarrollo y la mejora de los indicadores académicos con la incursión de las TIC. Un resumen de algunas de las diferentes modalidades de formación online es la presentada por Seoane (2014), que podrían ser considerado antecedente de la aplicación de la analítica en esta área del conocimiento (Figura 1)
Figura 1: Panorama de la analítica en educación.
Las TIC incursionaron con la ayuda de los gestores de aprendizaje (LMS) que permiten la interacción del estudiante a través de materiales, tareas, proyectos, blogs y foros entre otras muchas actividades posibles (Greller y Drachsler, 2012). Por ende, los docentes pueden tener información en línea sobre el seguimiento o el progreso de una actividad, pero solo puede tomar acciones cuando finaliza una actividad (análisis estadístico). La información capturada (por ejemplo: acceso, notas, tiempo de actividad, respuestas) puede ser usada para realizar un análisis más profundo (diagnóstico y predictivo) del progreso del proceso de enseñanza-aprendizaje de los estudiantes con el fin de planear los pasos a seguir para mejorarlo. Es aquí donde aparece la analítica en educación.
La incursión de la analítica en la educación según Murnion y Helfert (2013) puede mostrarse en diferentes niveles: analítica descriptiva (desempeño del total de las actividades), analítica diagnóstica (desempeño pasado para analizar la información) y analítica predictiva (anticiparse a los comportamientos basándose en relaciones históricas entre las variables), cada una de las cuales se realiza con herramientas diferentes, siendo para la primera el análisis por software general y hojas de cálculo, para la segunda: estadísticas y ciencias computacionales, y para la tercera: minería de datos y aprendizaje automático.
El uso de analítica en educación posee dos grandes opciones de aplicación. La analítica del aprendizaje (Learning Analytics - LA), que surgió a partir de varios aspectos que convergen, como la necesidad de informar sobre el uso de los sistemas de gestión educativa y los entornos virtuales de aprendizaje (Stewart, 2017) y la aplicación de nuevos algoritmos desarrollados por la ciencia de datos aplicados a las bases de datos de las universidades (Ferguson, 2012; Agudo-Peregrina et al., 2014). La otra opción, denominada analítica académica (Academic Analytics - AA), se centra en la escala institucional y los indicadores que permiten optimizar la labor social de la educación permitiendo comprar el desempeño de individuos, programas o instituciones (Daniel, 2015; Norris y Lefrere, 2011). Así pues, la analítica académica contiene a la analítica del aprendizaje (García Tinisaray, 2016). Por tanto, al predecir por ejemplo el rendimiento académico como una clase (variable) de tipo numérico o categórico se está inmerso en el campo de la analítica académica y cuando se intenta predecir cuál será el resultado de un estudiante antes de que curse una asignatura, se estaría incursionando en el campo de la analítica del aprendizaje (Figura 2).
Figura 2: Niveles de analítica y herramientas de la ciencia de datos aplicadas a la educación.
Los resultados de la analítica en el campo de la educación pueden usarse para elaborar informes como el mapeo curricular, la predicción del comportamiento (por ejemplo: tasas de abandono o deserción), el diseño de acciones para mejorar el aprendizaje y la determinación de las competencias en tiempo real (Tenpipat y Akkarajitsakul, 2020; Medina et al., 2020; Urteaga et al., 2020; Castrillón et al., 2020; Kauffman et al., 2019) y no como se hace actualmente que se recopilan datos de un semestre y las acciones de mejora se realizan en un semestre posterior (Lonn et al., 2015).
Analítica del aprendizaje
Es un paradigma que consiste en medición, recopilación, análisis e informe de datos sobre los alumnos y sus contextos, con el fin de comprender y optimizar el aprendizaje y los entornos en los que se produce (Lonn et al., 2015). En este sentido, requiere un análisis de la información que según Agudo-Peregrina et al., 2014 se puede realizar mediante la aplicación de técnicas de minería de datos e inteligencia de negocios, cuyos resultados se pueden proporcionar como gráficos e informes que sean útiles para los docentes (actividades y progreso de los estudiantes), para los estudiantes (retroalimentación) y para los administradores (incremento de aulas de clase, tasa de graduación, etc.) (Brown, 2011).
Khalil y Ebner (2015) plantearon el ciclo de vida de la analítica del aprendizaje que consta de cuatro etapas (Figura 3). La primera, denominada entorno de aprendizaje, involucra los diferentes actores del proceso educativo que pueden generar datos. La segunda, denominada Big Data, comprende la recopilación de datos históricos y aquellos provenientes de la interacción entre los diferentes actores del proceso educativo. El análisis comprende estudiar el pasado, el presente y el futuro del comportamiento de los estudiantes por medio del uso de diferentes herramientas desde la estadística, pasando por la minería de datos, hasta el aprendizaje automático (Stewart, 2017). La última fase involucra la toma de decisiones a partir de la interpretación de los resultados arrojados por la etapa anterior.
Figura 3: Ciclo de vida de la analítica del aprendizaje del Learning Analytics.
Por otro lado, Greller y Drachsler, 2012 establecieron las dimensiones críticas que deben ser analizadas para establecer un modelo de analítica del aprendizaje, las cuales a partir de sus múltiples conexiones entre diferentes instancias de cada dimensión permiten construir diferentes casos de uso. La Figura 4 ilustra las instancias claves de cada dimensión, estas son: partes interesadas, métodos usados en los análisis, competencias, restricciones, objetivos y datos. Este análisis muestra que el hecho de vincular los conjuntos de datos (públicos o privados) disponibles facilitaría el desarrollo de aplicaciones combinadas que puedan conducir a servicios más orientados al alumno y, por tanto, una mejor personalización. Claro que hay que tener en cuenta una limitación importante para el desarrollo de modelos de analítica, la cual es la disponibilidad de datos, ya que muchas instituciones consideran la información personal de los estudiantes como un aspecto privado. Pero para hacer analítica de datos en educación, según la investigación referencial no es necesaria la información personal ni de estudiantes, ni de docentes, ni mucho menos de personal administrativo de las instituciones. Solo es necesaria información de actividades del estudiante en plataformas como LMS, acceso de consultas en sistemas como el de bibliotecas, registros de aspectos académicos de forma anónima e información sociodemográfica en el mejor de los casos.
Figura 4: Dimensiones de la analítica del aprendizaje.
Así pues, algunas de las potencialidades de la analítica del aprendizaje según Long y Siemens (2011), García Tinisaray (2016), Li et al. (2020), Rajak et al. (2018), Akçapınar et al. (2019) se muestran en la Figura 5:
Figura 5: Beneficiarios y enfoques por nivel para AA y LA.
-
Permiten reconocer cuáles estudiantes pueden requerir intervenciones por parte del docente o de la institución con el fin de mejorar su proceso y tratar de disminuir la deserción y mejorar la retención.
-
Ofrece diversas recomendaciones de tipo académico a los estudiantes, tales como recomendar un libro, una lectura, un curso, o una actividad que facilite o mejore su aprendizaje.
-
Evalúa los cursos ofertados, permitiendo evaluarlos y adaptarlos a las necesidades del entorno, ofertando nuevas estrategias pedagógicas que faciliten la entrega exitosa de la información.
-
A los docentes no solo les permite tener acceso a la información de primera mano que permita identificar estudiantes en riesgo, sino que ayuda tanto a ellos como a las instituciones a la identificación de docentes que poseen buen manejo de herramientas y didácticas del campo educativo, así como la identificación de aquellos docentes con deficiencias en la didáctica y el uso de mejores técnicas de enseñanza.
Metodología
La metodología empleada que se expone en los siguientes cuatro pasos: (1) fuentes de la información, (2) criterios de selección de la información, (3) análisis e interpretación de datos relevantes y (4) resultados, utilizó como guía el método para revisiones sistemáticas de literatura (RSL) planteado por la investigadora Barbara Kitchenham. Esta metodología tiene sus inicios en revisiones bibliográficas realizadas para Ciencias Humanas pero también ha sido utilizada en el campo de la ingeniería (Kitchenham, 2004; Kitchenham y Charters, 2007; Kitchenham et al., 2009).
Fuentes de la información
Se realiza una revisión en bases de datos tales como Springer Links, Proquest, IEEE Explorer, utilizando combinaciones de palabras clave como: learning analytics research, educational factors, academic analytics research, E-learning, M-learning, G-learning, academic performance prediction, prediction of student dropout. Se filtró la búsqueda teniendo en cuenta artículos científicos de los últimos cinco años.
Criterios de selección de la información
Inicialmente la búsqueda en las bases de datos acerca la temática principal “modelos de analítica del aprendizaje en educación superior” arroja 200 investigaciones que poseen dentro de sus palabras clave “analítica del aprendizaje”. Posteriormente se establecen pasos tendientes a filtrar información y normas de exclusión (se citan algunas):
-
Se excluyen aquellos estudios que no relacionen directamente la aplicación del paradigma de analítica del aprendizaje.
-
Se excluyen (para el estado del arte) aquellos trabajos que no manejen una estructura o metodología secuencial propia de una investigación cuantitativa.
-
Se excluyen aquellos estudios que son una revisión bibliográfica de otros trabajos.
-
Se excluyen aquellos artículos que no arrojan resultados específicos del rendimiento de modelos utilizados para predecir mejoras del aprendizaje.
-
Se excluyen aquellos estudios que no incluyan dentro del nombre o dentro del resumen las variables indicadas en la ecuación de búsqueda.
La recopilación se redujo aproximadamente a 90 artículos (muchos aplicados a la educación básica y media); sin embargo, dado nuestro interés en la aplicación de analítica académica en educación superior, solo se tuvieron en cuenta 60 artículos. El presente estado del arte busca determinar las publicaciones que pretenden establecer una predicción en cuanto al aprendizaje de los estudiantes a través de diversas metodologías. Se enfoca en tratar de resolver las siguientes preguntas:
-
¿Cuáles son las herramientas y los métodos utilizados para realizar analítica del aprendizaje en educación superior?
-
¿Cuáles son los campos de acción de la analítica del aprendizaje en la educación superior?
-
¿ Cómo se ha realizado la socialización de los trabajos realizados en torno a la analítica del aprendizaje en la educación superior?
Analizar e interpretar datos relevantes
Los 60 artículos analizados se centraron en aspectos relacionados con los métodos de analítica del aprendizaje: aplicación del aprendizaje online con plataformas LMS (E-Learning), ML - aplicación del aprendizaje mediante dispositivos móviles (M-Learning), combinación del aprendizaje online con clases presenciales (B-Learning) y aplicación del aprendizaje por medio de juegos (G-Learning). Por lo tanto, esta literatura puede no incluir fuentes no disponibles a través de los criterios y bases de datos no especificadas en este documento. Los documentos consultados en esta revisión bibliográfica corresponden a publicaciones que busquen establecer una predicción dentro del tema de búsqueda a través de diversos métodos; posteriormente a esto se clasificarán las publicaciones de diversas maneras y aspectos relevantes soportados en gráficas.
Resultados y discusión
Con base en la revisión de la literatura, en esta sección se proporcionan los resultados obtenidos para responder a las preguntas de investigación.
Métodos y herramientas de la analítica en educación
Al aplicar analítica a un conjunto de datos, se hace uso de diferentes métodos pertenecientes a variados campos como son el análisis estadístico, la minería de datos y el aprendizaje automático. A partir de la investigación referencial se han podido establecer los métodos usados en los trabajos sobre este tema (Tabla 1).
Tabla 1: Métodos usados de acuerdo a cada enfoque de la analítica del aprendizaje
Esta revisión puede servir como insumo para investigadores que deseen profundizar en esta área de investigación, facilitándoles un poco la ardua tarea de una revisión bibliográfica para familiarizarse con los diferentes métodos. Los acrónimos presentados en la tabla en la columna de “Estudio” hacen referencia a la característica que se estudió en cada investigación a través de la analítica del aprendizaje, estos acrónimos específicamente se refieren a:
-
EL - aprendizaje online con plataformas LMS (E-Learning)
-
ML - aprendizaje mediante dispositivos móviles (M-Learning)
-
GL - aprendizaje por medio de juegos (G-Learning)
-
BL - combinación del aprendizaje online con clases presenciales (B-Learning)
A partir de la información de la tabla 1 es posible afirmar que en el campo educativo y especialmente dentro de la analítica del aprendizaje se están usando herramientas clásicas para análisis de datos que tienen sus fundamentos en el área estadística (por ejemplo, correlación estadística y regresión lineal), aunque empiezan a presentarse diversos análisis que podrían considerarse dentro del campo de la minería de datos (por ejemplo, K-Means y árboles de decisión).
En este sentido, con el avance de las ciencias de la computación y de la inteligencia artificial, se han generado tres grandes subdisciplinas: robótica (movimientos humanos), procesamiento por aprendizaje natural (texto y voz) y Machine Learning (datos). Esta última utiliza algoritmos que pueden predecir, prevenir o actuar para mejorar el proceso académico de los estudiantes (Al-Barrak y Al-Razgan, 2016), y también ser utilizada en educación, ya que da a los computadores la habilidad de aprender sin haber sido explícitamente programados (Hackeling, 2014), de tal manera que puedan utilizarse diferentes algoritmos como los de clasificación, las reglas de agrupación, regresión y asociación, entre otros, para predecir, por ejemplo, las calificaciones futuras de los estudiantes y por ende su rendimiento, partiendo de su rendimiento académico pasado y el de los estudiantes anteriores a él.
La industria está inundada con innumerables lenguajes de programación con el objetivo de resolver las complejidades de los problemas y traer innovaciones tecnológicas. Pero parece no ser el común denominador cuando se pretende analizar datos educativos relacionados con este tipo de analítica, en los que el software estadístico y las hojas de cálculo son las herramientas preferidas en los estudios revisados, dejando de lado herramientas poderosas para la analítica como Matlab, Python y R que ofrecen un abanico de numerosas posibilidades y de bibliotecas para la aplicación de métodos o algoritmos en inteligencia artificial.
Campos de aplicación de la analítica en educación superior
Los artículos fueron organizados en cuatro grandes categorías. Para cada uno de los campos se realizó una división, atendiendo al área de investigación en la que se usa la analítica, a saber: aplicación de aprendizaje online con plataformas LMS (E-Learning), aprendizaje mediante dispositivos móviles (M-Learning), aprendizaje por medio de juegos (G-Learning) y aprendizaje Bimodal o B-Learning (Figura 6). A partir de los resultados, se ofrece un panorama del uso de las herramientas de análisis en la solución de problemas en este campo. Puede afirmarse que hay una fuerte tendencia a la aplicación de métodos de analítica de datos al campo educativo, especialmente al análisis del aprendizaje de estudiantes con metodología E-Learning. De esta manera se corrobora que el problema es de interés actual. Cabe mencionar que en el estudio sobre el estado del arte de la analítica académica (Contreras et al., 2021), los autores encontraron que la analítica académica tiene una fuerte tendencia en la aplicación hacia la búsqueda de modelos que permitan explicar el rendimiento académico con herramientas de Machine Learning, un caso muy diferente a lo encontrado cuando se analiza información relacionada con modelos de aprendizaje automático en educación superior aplicados a analítica del aprendizaje.
Figura 6: Cantidad de artículos por año según el enfoque de analítica del aprendizaje.
Un aspecto interesante a analizar es determinar cuáles son los métodos o algoritmos que se han estado utilizando para estudiar o predecir algunos aspectos dentro del campo de la analítica del aprendizaje. En la Figura 7 se aprecia que las técnicas estadísticas son muy utilizadas pero su enfoque es más hacia la analítica descriptiva y no la predictiva. Se muestran algunos métodos clásicos de predicción tales como series de tiempo y regresión lineal. Los autores no están usando métodos que dan buenos resultados en el campo de la analítica académica para la predicción de indicadores como el rendimiento académico, la deserción y la tasa de graduación como los algoritmos de aprendizaje supervisado clásicos, tales como árboles de decisión, KNN, SVM (Tomasevic et al., 2020; Contreras et al., 2020; Adekitan y Noma-Osaghae, 2019; Wiyono y Tegal, 2019), o algoritmos más avanzados dentro del aprendizaje automático como los métodos híbridos o de ensamble y las redes neuronales (Zacharias y Athanasios, 2020; Hasan et al., 2020; Medina et al., 2020).
Figura 7: Algoritmos o métodos usados en trabajos relacionados con analítica del aprendizaje.
Socialización de la analítica en educación superior
En los últimos años se nota una creciente tendencia de los investigaciones en aspectos relacionados con la analítica del aprendizaje, ya que es un área que está influenciando y permeando diversos campos como el educativo para tratar de solucionar los inconvenientes presentes (Fernández et al., 2020). Esta fuerte tendencia a trabajar estos temas puede deberse, tal como lo manifiestan Campbell et al. (2007), a la aparición de técnicas que facilitan el análisis de datos académicos que buscan no solo estudiar la influencia de factores tecnológicos y de gestión en las instituciones, sino también la forma como aprenden y como se puede mejorar el proceso de enseñanza-aprendizaje dentro de las instituciones.
La investigación referencial arrojó que la cantidad de trabajos que aplican analítica del aprendizaje durante los últimos dos años ha aumentado significativamente (Figura 8a), luego de tener un comportamiento bastante estable durante los primeros años de la consulta (2015-2017). En nuestro criterio y tal como lo manifiestan las investigaciones consultadas, se puede deber a la necesidad de investigar modelos más acertados de predicción y al auge de los nuevos algoritmos dentro del área de la ciencia de datos.
Realizando un análisis sobre los países que están trabajando cada una de las temáticas relacionadas con analítica del aprendizaje (Figura 8b) y han producido documentos relacionados, Corea del Sur es el país en el que con mayor frecuencia se comparte autoría, seguido de China. De los 60 documentos obtenidos, 55% de estos fueron desarrollados en Asia, seguido de Oceanía y Europa. Hecho que permite suponer la en las universidades latinoamericanas una gran cantidad de software o plataformas almacenan muchos datos provenientes del estudiante, o almacenan datos generados durante su estadía en la universidad y estos no reciben ningún tratamiento en la búsqueda del mejoramiento de su proceso de aprendizaje. De tal manera que se hace necesaria la reutilización de la información, dando lugar a aplicaciones mucho más ricas que aporten mayor conocimiento o que complementen la información ya existente.
Figura 8: (a) Número de documentos reportados por año para analítica del aprendizaje (b) Países que han realizado más publicaciones de analítica del aprendizaje según la revisión bibliográfica.
Conclusiones
De acuerdo con el trabajo presentado y los resultados obtenidos, se pueden plantear las siguientes conclusiones principales:
La analítica del aprendizaje es un campo que apenas está incursionando en la educación superior con algoritmos de minería de datos y Machine Learning, que busca aprovechar el alto volumen de información generado por los estudiantes en sus actividades académicas a la cual poco uso se le da, más allá de realizar estadísticas descriptivas y, en el mejor de los casos, una analítica diagnóstica (desempeño pasado para analizar la información).
Los resultados muestran que en educación superior la analítica del aprendizaje se está enfocando hacia la solución o el desempeño de los estudiantes que utilizan modalidad virtual (E-Learning). Este tipo de técnica puede enfocarse también hacia la aplicación en otro tipo de modalidad, ya que lo que se requiere es la información que muchos dispositivos, plataformas y bases de datos de las instituciones tienen almacenada o capturan en el quehacer académico.
A pesar de que los algoritmos de Machine Learning son ampliamente usados en el campo del comercio y las comunicaciones (Amazon, Netflix y Google) para el manejo del marketing y usuarios afiliados, entre otros (Johnson et al., 2015), no son usados para la búsqueda de problemas relacionados con el proceso enseñanza-aprendizaje para ayudar a transformar la educación, pasando de un sistema de estándar de tamaño único a un sistema flexible, diseñado para satisfacer necesidades e intereses académicos de los estudiantes.
El estudio del proceso de aprendizaje según la revisión no solo abarca los datos numéricos que se obtienen de las plataformas, que son analizados por medio de herramientas con el fin de ofrecer información relevante y útil para facilitar la toma de decisiones y acciones oportunas, sino que es necesario tener en cuenta diferentes enfoques desde otras áreas como la psicología y la pedagogía. Por ende, no existe un camino definido en el estudio del proceso de aprendizaje de los estudiantes. Es un camino que conduce tanto a valores positivos como a negativos (axiología).
Acknowledgements
Agradecimientos
Proyecto de investigación financiado por el Centro de Investigaciones y Desarrollo Científico de la Universidad Distrital. Título: “Integración de datos del ámbito educativo y herramientas de análisis de datos para determinar el rendimiento académico en la educación superior (Código:215593-1)”. Convocatoria 03-2019 conformación de un banco de proyectos de investigación, desarrollo tecnológico e innovación en la UD.
Referencias
Licencia
Derechos de autor 2021 Leonardo-Emiro Contreras-Bravo, Giovanny-Mauricio Tarazona-Bermúdez, José-Ignacio Rodríguez-Molano
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-CompartirIgual 4.0.
El (los) autor(es) al enviar su artículo a la Revista Científica certifica que su manuscrito no ha sido, ni será presentado ni publicado en ninguna otra revista científica.
Dentro de las políticas editoriales establecidas para la Revista Científica en ninguna etapa del proceso editorial se establecen costos, el envío de artículos, la edición, publicación y posterior descarga de los contenidos es de manera gratuita dado que la revista es una publicación académica sin ánimo de lucro.
