DOI:

https://doi.org/10.14483/23448350.19662

Publicado:

2022-09-07

Número:

Vol. 45 Núm. 3 (2022): septiembre-diciembre

Sección:

Educación científica y tecnológica

Herramientas usadas para la evaluación formativa automatizada en cursos de programación asistidos por computadora

Tools Used for Automated Formative Assessment in Computer-Assisted Programming Courses

Autores/as

Palabras clave:

aprendizaje de programación, curso de programación, evaluación formativa, herramientas de programación, realimentación automatizada (es).

Palabras clave:

automated feedback, formative assessment, learning programming, programming course, programming tools (en).

Descargas

Resumen (es)

Este estudio presenta el despliegue de herramientas para verificación del funcionamiento de la realimentación automatizada implementada en cursos de programación. Los entornos educativos ofrecen la experiencia de evaluación sumativa y formativa de programas informáticos dirigida a estudiantes. En este tipo de herramientas, los estudiantes resuelven una tarea de programación, la cual es validada de manera automática para generar calificaciones y realimentación. Con respecto a la evaluación sumativa, se genera una calificación numérica o porcentual sobre si es correcta o no la solución de una tarea. Para el caso de la evaluación formativa, se genera información sobre los errores o sugerencias a incorporar en los programas con el fin de mejorar el aprendizaje. Las herramientas utilizadas son UNCode, Ask-Elle y Nbgrader. Adicionalmente, se hacen menciones importantes sobre algunas de las herramientas usadas para la comparación de programas y validación de diferencias.

Resumen (en)

This study presents the use of tools for verifying the operation of automated feedback as implemented in programming courses. Educational environments offer the experience of summative and formative evaluation of computer programs, which is aimed at students. In this type of tool, students solve a programming task, which is automatically validated in order to generate grades and feedback. Regarding summative evaluation, a numerical or percentage grade is generated on whether the solution of a task is correct. In the case of formative evaluation, information is generated on errors or suggestions to be incorporated to the programs in order to improve learning. The employed tools are UNCode, Ask-Elle, and Nbgrader. In addition, some important remarks are made about some of the tools used for comparing programs and validating differences.

Referencias

Akram, B., Azizolsoltani, H., Min, W., Wiebe, E., Navied, A., Mott, B. W., Boyer, K., Lester, J. C. (2020). A Data-Driven Approach to Automatically Assessing Concept-Level CS Competencies Based on Student Programs. En CSEDM@EDM

Angelone, A. M., Vittorini, P. (2020). The Automated Grading of R Code Snippets: Preliminary Results in a Course of Health Informatics. En 9th International Conference (pp. 19-27). Springer. https://doi.org/10.1007/978-3-030-23990-9_3

Annamaa, A., Suviste, R., Vene, V. (2017). Comparing different styles of automated feedback for programming exercises. En Proceedings of the 17th Koli Calling International Conference on Computing Education Research (pp. 183-184). https://doi.org/10.1145/3141880.3141909

Ardimento, P., Bernardi, M. L., Cimitile, M. (2020). Software Analytics to Support Students in Object-Oriented Programming Tasks: An Empirical Study. IEEE Access, 8, 132171-132187. https://doi.org/10.1109/ACCESS.2020.3010172

Beck, P., Mohammadi-Aragh, M. J., Archibald, C. (2019). An Initial Exploration of Machine Learning Techniques to Classify Source Code Comments in Real-time. En ASEE Annual Conference & Exposition

Dominguez, A. K., Yacef, K., Curran, J. (2010). Data mining to generate individualised feedback. En Proceedings of the 10th international conference on Intelligent Tutoring Systems (pp. 303-305). https://doi.org/10.1007/978-3-642-13437-1_52

Edwards, S. H. (2014). Work-in-progress: Program grading and feedback generation with Web-CAT. En Proceedings of the first ACM conference on Learning @ scale conference (pp. 215-216). https://doi.org/10.1145/2556325.2567888

English, J., English, T. (2019). Combining Summative and Formative Evaluation Using Automated Assessment. Issues in Informing Science and Information Technology, 16, 143-151. https://doi.org/10.28945/4293

Funabiki, N., Mohri, T., Yamaguchi, S. (2016). Toward personalized learning in JPLAS: Generating and scoring functions for debugging questions. En IEEE 5th Global Conference on Consumer Electronics (pp. 1-4). https://doi.org/10.1109/GCCE.2016.7800392

Gerdes, A., Heeren, B., Jeuring, J., van Binsbergen, L. T. (2017). Ask-Elle: An Adaptable Programming Tutor for Haskell Giving Automated Feedback. International Journal of Artificial Intelligence in Education, 27(1), 65-100. https://doi.org/10.1007/s40593-015-0080-x

Hidalgo, C., G, V. A. B., Calle, F. R., Osorio, F. A. G. (2021). Estrategia de enseñanza basada en la colaboración y la evaluación automática de código fuente en un curso de programación CS1. Investigación e Innovación en Ingenierías, 9(1), 50-60

Jeuring, J., Gerdes, A., Heeren, B. (2012). Ask-Elle: A Haskell Tutor. En 21st Century Learning for 21st Century Skills (pp. 453-458). Springer. https://doi.org/10.1007/978-3-642-33263-0_42

Jupyter Development Team. (s. f.). nbgrader—Nbgrader 0.7.1 documentation. https://nbgrader.readthedocs.io/en/stable/

Jupyter, P., Blank, D., Bourgin, D., Brown, A., Bussonnier, M., Frederic, J., Granger, B., Griffiths, T., Hamrick, J., Kelley, K., Pacer, M., Page, L., Perez, F., Ragan-Kelley, B., Suchow, J., Willing, C. (2019). nbgrader: A Tool for Creating and Grading Assignments in the Jupyter Notebook. Journal of Open Source Education, 2, e32. https://doi.org/10.21105/jose.00032

Keuning, H., Jeuring, J., Heeren, B. (2016). Towards a Systematic Review of Automated Feedback Generation for Programming Exercises. En Proceedings of the 2016 ACM Conference on Innovation and Technology in Computer Science Education (pp. 41-46). https://doi.org/10.1145/2899415.2899422

Keuning, H., Jeuring, J., Heeren, B. (2018). A Systematic Literature Review of Automated Feedback Generation for Programming Exercises. ACM Transactions on Computing Education, 19(1), 1-43. https://doi.org/10.1145/3231711

Kim, D., Kwon, Y., Liu, P., Kim, I. L., Perry, D. M., Zhang, X., Rodriguez-Rivera, G. (2016). Apex: Automatic programming assignment error explanation. En Proceedings of the 2016 ACM SIGPLAN International Conference on Object-Oriented Programming, Systems, Languages, and Applications (pp. 311-327). https://doi.org/10.1145/2983990.2984031

Manzoor, H., Naik, A., Shaffer, C. A., North, C., Edwards, S. H. (2020). Auto-Grading Jupyter Notebooks. En Proceedings of the 51st ACM Technical Symposium on Computer Science Education (pp. 1139-1144). https://doi.org/10.1145/3328778.3366947

Marin, V. J., Pereira, T., Sridharan, S., Rivero, C. R. (2017). Automated Personalized Feedback in Introductory Java Programming MOOCs. En IEEE 33rd International Conference on Data Engineering (pp. 1259-1270). https://doi.org/10.1109/ICDE.2017.169

McBroom, J., Yacef, K., Koprinska, I. (2020). Scalability in Online Computer Programming Education: Automated Techniques for Feedback, Evaluation and Equity. En Proceedings of the 13th International Conference on Educational Data Mining. https://educationaldatamining.org/files/conferences/EDM2020/papers/paper_252.pdf

Narciss, S. (2008). Feedback Strategies for Interactive Learning Tasks (pp. 125-144)

Ramirez-Echeverry, J. J., Restrepo-Calle, F., González, F. (2018). Uncode: Interactive System for Learning and Automatic Evaluation of Computer Programming Skills. https://doi.org/10.21125/edulearn.2018.1632

Razeeth, M., Kariapper, R. K. A. R., Pirapuraj, P., Nafrees, A., Rishan, U. M., Ali, S. (2019). E-learning at home vs traditional learning among higher education students: A survey based analysis. https://www.semanticscholar.org/paper/E-learning-at-home-vs-traditional-learning-among-a-Razeeth-Kariapper/546b671af8f0542edb932a7819b62e80a0c3010b

Shermis, M. D. (2014). State-of-the-art automated essay scoring: Competition, results, and future directions from a United States demonstration. Assessing Writing, 20, 53-76. https://doi.org/10.1016/j.asw.2013.04.001

Srikant, S., Aggarwal, V. (2014). A system to grade computer programming skills using machine learning. En Proceedings of the 20th International Conference on Knowledge Discovery and Data Mining (pp. 1887-1896). https://doi.org/10.1145/2623330.2623377

Universidad del Valle. (s. f.). Course list - INGInious M-iDEA. http://ingin.ddns.net/courselist

Universidad Nacional de Colombia. (2022). UNCode [Python]. UNCode. https://github.com/JuezUN/INGInious

Université catholique de Louvain. (s. f.). What is INGInious? —INGInious 0.7 documentation. https://docs.inginious.org/en/v0.7/what_is_inginious.html

Universiteit Utrecht, Open Universiteit. (s. f.-a). Ask-Elle. https://ideas.science.uu.nl/AskElle/

Universiteit Utrecht, Open Universiteit. (s. f.-b). Ideas tutorial. https://ideas.science.uu.nl/tutorial/

Vittorini, P., Menini, S., Tonelli, S. (2021). An AI-Based System for Formative and Summative Assessment in Data Science Courses. International Journal of Artificial Intelligence in Education, 31(2), 159-185. https://doi.org/10.1007/s40593-020-00230-2

Yong Castillo, E., Bedoya Ortiz, D. H. (2022). De la educación tradicional a la educación mediada por TIC. https://pdf4pro.com/amp/view/de-la-educaci-243-n-tradicional-a-la-educaci-243-n-mediada-por-tic-733bf7.html

Cómo citar

APA

Leytón-Yela, G.-V., Bucheli-Guerrero, V.-A., & Ordoñez-Erazo, H.-A. (2022). Herramientas usadas para la evaluación formativa automatizada en cursos de programación asistidos por computadora. Revista Científica, 45(3), 358–368. https://doi.org/10.14483/23448350.19662

ACM

[1]
Leytón-Yela, G.-V., Bucheli-Guerrero, V.-A. y Ordoñez-Erazo, H.-A. 2022. Herramientas usadas para la evaluación formativa automatizada en cursos de programación asistidos por computadora. Revista Científica. 45, 3 (sep. 2022), 358–368. DOI:https://doi.org/10.14483/23448350.19662.

ACS

(1)
Leytón-Yela, G.-V.; Bucheli-Guerrero, V.-A.; Ordoñez-Erazo, H.-A. Herramientas usadas para la evaluación formativa automatizada en cursos de programación asistidos por computadora. Rev. Cient. 2022, 45, 358-368.

ABNT

LEYTÓN-YELA, G.-V.; BUCHELI-GUERRERO, V.-A.; ORDOÑEZ-ERAZO, H.-A. Herramientas usadas para la evaluación formativa automatizada en cursos de programación asistidos por computadora. Revista Científica, [S. l.], v. 45, n. 3, p. 358–368, 2022. DOI: 10.14483/23448350.19662. Disponível em: https://revistas.udistrital.edu.co/index.php/revcie/article/view/19662. Acesso em: 26 sep. 2022.

Chicago

Leytón-Yela, Ginna-Viviana, Victor-Andrés Bucheli-Guerrero, y Hugo-Armando Ordoñez-Erazo. 2022. «Herramientas usadas para la evaluación formativa automatizada en cursos de programación asistidos por computadora». Revista Científica 45 (3):358-68. https://doi.org/10.14483/23448350.19662.

Harvard

Leytón-Yela, G.-V., Bucheli-Guerrero, V.-A. y Ordoñez-Erazo, H.-A. (2022) «Herramientas usadas para la evaluación formativa automatizada en cursos de programación asistidos por computadora», Revista Científica, 45(3), pp. 358–368. doi: 10.14483/23448350.19662.

IEEE

[1]
G.-V. Leytón-Yela, V.-A. Bucheli-Guerrero, y H.-A. Ordoñez-Erazo, «Herramientas usadas para la evaluación formativa automatizada en cursos de programación asistidos por computadora», Rev. Cient., vol. 45, n.º 3, pp. 358–368, sep. 2022.

MLA

Leytón-Yela, G.-V., V.-A. Bucheli-Guerrero, y H.-A. Ordoñez-Erazo. «Herramientas usadas para la evaluación formativa automatizada en cursos de programación asistidos por computadora». Revista Científica, vol. 45, n.º 3, septiembre de 2022, pp. 358-6, doi:10.14483/23448350.19662.

Turabian

Leytón-Yela, Ginna-Viviana, Victor-Andrés Bucheli-Guerrero, y Hugo-Armando Ordoñez-Erazo. «Herramientas usadas para la evaluación formativa automatizada en cursos de programación asistidos por computadora». Revista Científica 45, no. 3 (septiembre 7, 2022): 358–368. Accedido septiembre 26, 2022. https://revistas.udistrital.edu.co/index.php/revcie/article/view/19662.

Vancouver

1.
Leytón-Yela G-V, Bucheli-Guerrero V-A, Ordoñez-Erazo H-A. Herramientas usadas para la evaluación formativa automatizada en cursos de programación asistidos por computadora. Rev. Cient. [Internet]. 7 de septiembre de 2022 [citado 26 de septiembre de 2022];45(3):358-6. Disponible en: https://revistas.udistrital.edu.co/index.php/revcie/article/view/19662

Descargar cita

Visitas

9

Dimensions


PlumX


Descargas

Los datos de descargas todavía no están disponibles.