Automatización de la generación de casos de prueba de software 2018–2024: mapeo sistemático en bases de datos IEEE, ACM, Springer y Elsevier

Software test case generation automation 2018-2024: Systematic Mapping in IEEE/ACM/Springer/Elsevier

Abstract Authors Available Metrics References How to Cite

Abstract (es)

Contexto: la prueba de software es esencial para asegurar la calidad de productos de software. Sin embargo, la generación manual de casos de prueba es costosa, propensa a errores y consume tiempo considerable, lo que ha impulsado el desarrollo de métodos y herramientas para automatizar esta actividad.
Objetivo: analizar métodos y herramientas para la automatización de la generación de casos de prueba documentados entre 2018 y 2024, identificando características, retos en el empleo práctico y formas de evaluación.
Metodología: se aplicó la metodología de mapeo sistemático de Kitchenham et al., analizando 70 estudios primarios de IEEE Xplore, ACM Digital Library, Science Direct y Springer Link. Se empleó el enfoque quasi-gold standard para definir cadenas de búsqueda y síntesis narrativa de Popay et al. para el análisis de datos.
Resultados: la prueba basada en búsqueda y la prueba basada en modelos son las técnicas predominantes, con una emergente adopción de Modelos de Lenguaje Grande (LLM, Large Language Models). Los métodos y herramientas se orientan principalmente hacia APIs RESTful y aplicaciones Java, presentando limitaciones en el manejo de especificaciones y generación de test oracles efectivos.
Conclusiones: se identifican oportunidades significativas en pruebas de seguridad y rendimiento. Aunque el estudio no incluyó evaluación de calidad de estudios primarios, literatura gris ni snowballing, proporciona un panorama base para futuras investigaciones en generación automática de casos de prueba.

Abstract (en)

Context: Software testing is essential to ensure software product quality. However, manual test case generation is costly, error-prone, and time-consuming, driving the development of methods and tools to automate this activity.
Objective: To analyze methods and tools for automating test case generation reported between 2018 and 2024, identifying characteristics, practical implementation challenges, and evaluation approaches.
Methodology: Kitchenham et al.'s systematic mapping methodology was applied, analyzing 70 primary studies from IEEE Xplore, ACM Digital Library, ScienceDirect, and SpringerLink. The quasi-gold standard approach was used to define search strings, and Popay et al.'s narrative synthesis for data analysis.
Results: Search-based testing and model-based testing are the predominant techniques, with emerging adoption of Large Language Models (LLMs). Methods and tools mainly target RESTful APIs and Java applications, showing limitations in specification handling and effective test oracle generation.
Conclusions: Significant opportunities are identified in security and performance testing. Although the study did not include quality assessment of primary studies, grey literature, or snowballing, it provides a baseline for future research in automated test case generation.