DOI:

https://doi.org/10.14483/22487638.19213

Publicado:

2022-09-25

Número:

Vol. 26 Núm. 74 (2022): Octubre - Diciembre

Sección:

Investigación

Reconocimiento de lengua de señas colombiana mediante redes neuronales convolucionales y captura de movimiento

Colombian sign language recognition using convolutional neural networks and motion capture

Autores/as

Palabras clave:

Hotel environment , Data analytics, Deep learning, Communication , Phono-hearing disability, Colombian sign language, Convolutional neural network (en).

Palabras clave:

Ambiente hotelero, Analítica de datos, Aprendizaje profundo, Comunicación , Discapacidad fono-auditiva, Lenguaje de señas , Redes neuronales convolucionales (es).

Descargas

Resumen (es)

Contexto: Este articulo presenta el diseño de un modelo predictivo computacional que facilita el reconocimiento de la lengua de señas colombiana (LSC) en un entorno hotelero y turístico.

Método: Se aplicaron técnicas de inteligencia artificial y redes neuronales profundas en el aprendizaje y la predicción de gestos en tiempo real, los cuales permitieron construir una herramienta para disminuir la brecha y fortalecer la comunicación. Se implementaron algoritmos de redes neuronales convolucionales sobre captura de datos en tiempo real. Se capturó movimiento mediante cámaras de video de dispositivos móviles; así, se obtuvieron las imágenes que forman el conjunto de datos. Las imágenes se utilizaron como datos de entrenamiento para un modelo computacional óptimo que puede predecir el significado de una imagen recién presentada.

Resultados: Se evaluó el rendimiento del modelo usando medidas categóricas y comparando diferentes configuraciones para la red neuronal. Adicional a esto, todo está soportado con el uso de herramientas como Tensorflow, OpenCV y MediaPipe.

Conclusiones: Se obtuvo un modelo capaz de identificar y traducir 39 señas diferentes entre palabras, números y frases básicas enfocadas al sector hotelero, donde se logró una tasa de éxito del 97,6 % en un ambiente de uso controlado.

Resumen (en)

Context: This article presents the design of a computational predictive model that facilitates the recognition of Colombian Sign Language (LSC) in a hotel and tourism environment.

Method: Artificial intelligence techniques and deep neural networks were applied in the learning and prediction of gestures in real time, which allowed the construction of a tool to reduce the gap and strengthen communication. Convolutional neural network algorithms were applied to real-time data capture. Movement was captured using mobile device video cameras, thus obtaining the images that make up the data set. The images were used as training data for an optimal computational model that can predict the meaning of a newly presented image.

Results: The performance of the model was evaluated using categorical measures and comparing different configurations for the neural network. In addition to this, everything is supported with the use of tools such as Tensorflow, OpenCV and MediaPipe.

Conclusions: Finally, a model capable of identifying and translating 39 different signs between words, numbers and basic phrases focused on the hotel sector was obtained, where a success rate of 97.6% was obtained in a controlled use environment.

 

Biografía del autor/a

Juan José Gutiérrez Leguizamón, Universidad Pedagógica y Tecnológica de Colombia

Estudiante de Ingeniería de Sistemas y Computación. Sogamoso

Jimmy Alejandro Plazas López, Universidad Pedagógica y Tecnológica de Colombia.

Estudiante de Ingeniería de Sistemas y Computación. Sogamoso

Marco Javier Suárez Barón, Universidad Pedagógica y Tecnológica de Colombia

Ingeniero de Sistemas, magíster en Gestión de Información, doctor en Planeación Estratégica y Dirección de Tecnología. Docente asociado de la Universidad Pedagógica y Tecnológica de Colombia. Sogamoso

Juan Sebastián González Sanabria, Universidad Pedagógica y Tecnológica de Colombia

Ingeniero de Sistemas y Computación, magíster en Ingeniería del Software. Docente asistente de la Universidad Pedagógica y Tecnológica de Colombia

Referencias

Congreso de la República de Colombia. Ley 2068 de 2020. https://www.funcionpublica.gov.co/eva/gestornormativo/norma.php?i=172558

Google. (s. f.). MediaPipe. https://google.github.io/mediapipe/solutions/hands

Halvardsson, G., Peterson, J., Soto-Valero, C. y Baudry, B. (septiembre de 2021). Interpretation of Swedish Sign Language using convolutional neural networks and transfer learning. SN Computer Science, 2, 207. https://doi.org/10.1007/s42979-021-00612-w

Herazo, J. (1 de agosto de 2020). Sign language recognition using deep learning. TowardsDataScience.com. https://towardsdatascience.com/sign-language-recognition-using-deep-learning-6549268c60bd

Instituto Nacional para Sordos (Insor). (2020). Población sorda en Boyacá: perfil territorial. https://www.insor.gov.co/insorlab/wp-content/uploads/2021/12/BOYACA.pdf

Instituto Nacional para Sordos (Insor). (s. f.). Diccionario básico de la lengua de señas colombiana. http://www.insor.gov.co/descargar/diccionario_basico_completo.pdf

Jiménez-Forero, G. y Moreno-Mosquera, E. E. (2020). Método automático para el reconocimiento de gestos de manos para la categorización de vocales y números en lenguaje de señas colombiano [Trabajo de grado]. Repositorio Institucional de la Universidad Católica de Colombia. https://hdl.handle.net/10983/22601

Llanos Mosquera, J. M. (2021). Una revisión sistemática sobre aula invertida y aprendizaje colaborativo apoyados en inteligencia artificial para el aprendizaje de programación. Tecnura, 25(69), 196-214. https://doi.org/10.14483/22487638.16934

Medina Rojas, F. A. (2017). A quantitative and qualitative performance analysis of compressive spectral imagers. Tecnura, 21(52), 53-67. https://doi.org/10.14483/udistrital.jour.tecnura.2017.2.a04

Mishra, S., Sinha, S., Sinha, S. y Bilgaiyan, S. (2019). Recognition of hand gestures and conversion of voice for betterment of deaf and mute people. En Advances in Computing and Data Sciences (pp. 46-57). Springer Singapore. https://doi.org/10.1007/978-981-13-9942-8_5

Mustafa, M. (04 de marzo de 2020). A study on Arabic sign language recognition for differently abled using advanced machine learning classifiers. Journal of Ambient Intelligence and Humanized Computing, 12, 4101-4115. https://doi.org/10.1007/s12652-020-01790-w

Ortiz Farfán, N. y Camargo Mendoza, J. E. (2020). Computational model for sign language recognition in a Colombian context. TecnoLógicas, 23(23), 197-232. https://doi.org/10.22430/22565337.1585

Ortiz García, C. D. (16 de julio de 2021). Traductor de letras en lenguaje de señas con redes neuronales convolucionales [Trabajo de grado]. Repositorio Institucional de la Universidad de los Andes. https://repositorio.uniandes.edu.co/handle/1992/53437

Rostand, C., De Araújo, T., Lima, M., Veríssimo, V., De Andrade, R., Vieira, S., Santos, A., Souza Filho, G. L., Soares, M. K. y Hanael, V. (agosto de 2019). Towards an open platform for machine translation of spoken languages into sign languages. Machine Translation, 33, 315-348. https://doi.org/10.1007/s10590-019-09238-5

Trejos Buriticá, O. I. (2018). Aprovechamiento de los tipos de pensamiento matemático en el aprendizaje de la programación funcional. Tecnura, 22(56), 29-39. https://doi.org/10.14483/22487638.12807

Vázquez-Enríquez, M., Alba-Castro, J. L., Docio-Fernández, L. y Rodríguez-Banga, E. (2021). Isolated sign language recognition with multi-scale spatial-temporal graph convolutional networks. En 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW) (pp. 3457-3466). https://doi.org/10.1109/CVPRW53098.2021.00385

Cómo citar

APA

Gutiérrez Leguizamón, J. J., Plazas López, J. A., Suárez Barón, M. J. ., & González Sanabria, J. S. . (2022). Reconocimiento de lengua de señas colombiana mediante redes neuronales convolucionales y captura de movimiento. Tecnura, 26(74), 70–86. https://doi.org/10.14483/22487638.19213

ACM

[1]
Gutiérrez Leguizamón, J.J., Plazas López, J.A., Suárez Barón, M.J. y González Sanabria, J.S. 2022. Reconocimiento de lengua de señas colombiana mediante redes neuronales convolucionales y captura de movimiento. Tecnura. 26, 74 (sep. 2022), 70–86. DOI:https://doi.org/10.14483/22487638.19213.

ACS

(1)
Gutiérrez Leguizamón, J. J.; Plazas López, J. A.; Suárez Barón, M. J. .; González Sanabria, J. S. . Reconocimiento de lengua de señas colombiana mediante redes neuronales convolucionales y captura de movimiento. Tecnura 2022, 26, 70-86.

ABNT

GUTIÉRREZ LEGUIZAMÓN, J. J.; PLAZAS LÓPEZ, J. A.; SUÁREZ BARÓN, M. J. .; GONZÁLEZ SANABRIA, J. S. . Reconocimiento de lengua de señas colombiana mediante redes neuronales convolucionales y captura de movimiento. Tecnura, [S. l.], v. 26, n. 74, p. 70–86, 2022. DOI: 10.14483/22487638.19213. Disponível em: https://revistas.udistrital.edu.co/index.php/Tecnura/article/view/19213. Acesso em: 26 sep. 2022.

Chicago

Gutiérrez Leguizamón, Juan José, Jimmy Alejandro Plazas López, Marco Javier Suárez Barón, y Juan Sebastián González Sanabria. 2022. «Reconocimiento de lengua de señas colombiana mediante redes neuronales convolucionales y captura de movimiento». Tecnura 26 (74):70-86. https://doi.org/10.14483/22487638.19213.

Harvard

Gutiérrez Leguizamón, J. J., Plazas López, J. A., Suárez Barón, M. J. . y González Sanabria, J. S. . (2022) «Reconocimiento de lengua de señas colombiana mediante redes neuronales convolucionales y captura de movimiento», Tecnura, 26(74), pp. 70–86. doi: 10.14483/22487638.19213.

IEEE

[1]
J. J. Gutiérrez Leguizamón, J. A. Plazas López, M. J. . Suárez Barón, y J. S. . González Sanabria, «Reconocimiento de lengua de señas colombiana mediante redes neuronales convolucionales y captura de movimiento», Tecnura, vol. 26, n.º 74, pp. 70–86, sep. 2022.

MLA

Gutiérrez Leguizamón, J. J., J. A. Plazas López, M. J. . Suárez Barón, y J. S. . González Sanabria. «Reconocimiento de lengua de señas colombiana mediante redes neuronales convolucionales y captura de movimiento». Tecnura, vol. 26, n.º 74, septiembre de 2022, pp. 70-86, doi:10.14483/22487638.19213.

Turabian

Gutiérrez Leguizamón, Juan José, Jimmy Alejandro Plazas López, Marco Javier Suárez Barón, y Juan Sebastián González Sanabria. «Reconocimiento de lengua de señas colombiana mediante redes neuronales convolucionales y captura de movimiento». Tecnura 26, no. 74 (septiembre 25, 2022): 70–86. Accedido septiembre 26, 2022. https://revistas.udistrital.edu.co/index.php/Tecnura/article/view/19213.

Vancouver

1.
Gutiérrez Leguizamón JJ, Plazas López JA, Suárez Barón MJ, González Sanabria JS. Reconocimiento de lengua de señas colombiana mediante redes neuronales convolucionales y captura de movimiento. Tecnura [Internet]. 25 de septiembre de 2022 [citado 26 de septiembre de 2022];26(74):70-86. Disponible en: https://revistas.udistrital.edu.co/index.php/Tecnura/article/view/19213

Descargar cita

Visitas

11

Dimensions


PlumX


Descargas

Los datos de descargas todavía no están disponibles.