Modelo Acústico y de Lenguaje del Idioma Español para el dialecto Cucuteño, Orientado al Reconocimiento Automático del Habla

Acoustic and Language Modeling for Speech Recognition of a Spanish Dialect from the Cucuta Colombian Region

  • Juan David Celis Nuñez Universidad Francisco de Paula Santander
  • Rodrigo Andres Llanos Castro Universidad Francisco de Paula Santander
  • Byron Medina Delgado Universidad Francisco de Paula Santander
  • Sergio Basilio Sepúlveda Mora Universidad Francisco de Paula Santander
  • Sergio Alexander Castro Casadiego Universidad Francisco de Paula Santander
Keywords: speech recognition, acoustic models, language models, CMU Sphinx, Raspberry Pi. (en_US)
Keywords: reconocimiento del habla, modelos acústicos, modelos de lenguajes, CMU Sphinx, Raspberry Pi. (es_ES)

Abstract (es_ES)

 

 Contexto: El reconocimiento automático del habla requiere el desarrollo de modelos de lenguaje y modelos acústicos para los diferentes dialectos que existen. El objeto de esta investigación es el entrenamiento de un modelo acústico, un modelo de lenguaje estadístico y un modelo de lenguaje gramatical para el idioma español, específicamente para el dialecto de la ciudad de San José de Cúcuta, Colombia, que pueda ser utilizado en un sistema de control por comandos. Lo anterior motivado en las deficiencias que presentan los modelos existentes para el idioma español, para el reconocimiento de la frecuencia fundamental y contenido espectral, el acento, la pronunciación, el tono o simplemente al modelo de lenguaje de la variante dialéctica de esta región.

Método: Este proyecto utiliza el sistema embebido Raspberry Pi B+ con el sistema operativo Raspbian que es una distribución de Linux, y los softwares de código abierto CMU-Cambridge Statistical Language Modeling toolkit de la Universidad de Cambridge y CMU Sphinx de la Universidad Carnegie Mellon; los cuales se basan en los modelos ocultos de Markov para el cálculo de los parámetros de voz. Además, se utilizaron 1913 audios grabados por locutores de la ciudad de San José de Cúcuta y el departamento de Norte de Santander para el entrenamiento y las pruebas del sistema de reconocimiento automático del habla.

Resultados: Se obtuvo un modelo de lenguaje que consiste de dos archivos, uno de modelo de lenguaje estadístico (. lm), y uno de modelo gramatical (. jsgf). Con relación a la parte acústica se entrenaron dos modelos, uno de ellos con una versión mejorada que obtuvo una tasa de acierto en el reconocimiento de comandos del 100% en los datos de entrenamiento y de 83% en las pruebas de audio. Por último, se elaboró un manual para la creación de los modelos acústicos y de lenguaje con el software CMU Sphinx.  

Conclusiones: El número de participantes en el proceso de entrenamiento de los modelos acústicos y de lenguaje influye significativamente en la calidad del procesamiento de voz del reconocedor. Para obtener una mejor respuesta del sistema de Reconocimiento Automático del Habla es importante usar un diccionario largo para la etapa de entrenamiento y un diccionario corto con las palabras de comando para la implementación del sistema. Teniendo en cuenta que en las pruebas de reconocimiento se obtuvo una tasa de éxito mayor al 80% es posible usar los modelos creados en el desarrollo de un sistema de Reconocimiento Automático del Habla para una aplicación orientada a la asistencia de personas con discapacidad visual o incapacidad de movimiento.

Abstract (en_US)

 

Context: Automatic speech recognition requires the development of language and acoustic models for different existing dialects. The purpose of this research is the training of an acoustic model, a statistical language model and a grammar language model for the Spanish language, specifically for the dialect of the city of San Jose de Cucuta, Colombia, that can be used in a command control system. Existing models for the Spanish language have problems in the recognition of the fundamental frequency and the spectral content, the accent, pronunciation, tone or simply the language model for Cucuta's dialect.

Method: in this project, we used Raspberry Pi B+ embedded system with Raspbian operating system which is a Linux distribution and two open source software, namely CMU-Cambridge Statistical Language Modeling Toolkit from the University of Cambridge and CMU Sphinx from Carnegie Mellon University; these software are based on Hidden Markov Models for the calculation of voice parameters. Besides, we used 1913 recorded audios with the voice of people from San Jose de Cucuta and Norte de Santander department. These audios were used for training and testing the automatic speech recognition system.

Results: we obtained a language model that consists of two files, one is the statistical language model (.lm), and the other is the jsgf grammar model (.jsgf). Regarding the acoustic component, two models were trained, one of them with an improved version which had a 100 % accuracy rate in the training results and 83 % accuracy rate in the audio tests for command recognition. Finally, we elaborated a manual for the creation of acoustic and language models with CMU Sphinx software.

Conclusions: The number of participants in the training process of the language and acoustic models has a significant influence on the quality of the voice processing of the recognizer. The use of a large dictionary for the training process and a short dictionary with the command words for the implementation is important to get a better response of the automatic speech recognition system. Considering the accuracy rate above 80 % in the voice recognition tests, the proposed models are suitable for applications oriented to the assistance of visual or motion impairment people.

Downloads

Download data is not yet available.

References

F. Moumtadi, F. Granados-Lovera, J. Delgado-Hernández, “Activación de funciones en edificios inteligentes utilizando coman-dos de voz desde dispositivos móviles”. Ingeniería. Investigación y Tecnología, abril-junio 2014, pp.175-186. Disponible en: http://www.revele.com.veywww.redalyc.org/articulo.oa?id=40430749002. Consultado por última vez el 16 de agosto del 2017.

J.M. Alcubierre, J. Minguez, L. Montesano, L. Montano, O. Saz, E. Lleida,” Silla de Ruedas Inteligente Controlada por Voz”. Primer Congreso Internacional de Domótica, Robótica y Teleasistencia para todos, 2005. [Online]. Disponible en https://www.researchgate.net/profile/Javier_Minguez/publication/237524693_Silla_de_Ruedas_Inteligente_Controlada_por_Voz/links/00b4952bfed6f95e49000000.pdf, Consultado por última vez el 16 de agosto del 2017.

M. Y. El Amrani, M.M. H. Rahman, M. R. Wahiddin y A. Shah, “Building CMU Sphinx Language Model for The Holy Quran using Simplified Arabic Phonemes”. Egyptian Informatics Journal, vol. 17, no. 3, November 2016, pp. 305–314.

M. Saqer, “Voice speech recognition using hidden Markov model Sphinx-4 for Arabic”. M.S. thesis, University of Houston-Clear Lake, ProQuest Dissertations Publishing, 2012. [Online]. Disponible en: https://search.proquest.com/docview/1029871476?accountid=43636, consultado por última vez el 16 de agosto del 2017.

U. Uebler, “Multilingual speech recognition in seven languages”. Speech Communication, vol. 35, no. 1–2, August 2001, pp. 53–69.

J. Köhler, “Multilingual phone models for vocabulary-independent speech recognition tasks”. Speech Communication, vol. 35, no. 1–2, August 2001, pp. 21–30.

V. Z. Këpuska, P. Rojanasthien, “Speech Corpus Generation from DVDs of Movies and TV Series”. Journal of International Technology and Information Management, vol. 20, no. 1-2, 2011, pp. 49-82. [Online]. Disponible en https://search.proquest.com/docview/1357567679?accountid=43636, consultado por última vez el 16 de agosto del 2017.

CMU Sphinx Project by Carnegie Mellon University, Open Source Speech Recognition Toolkit. [Online]. Disponible en http://cmusphinx.sourceforge.net/, consultado por última vez el 16 de agosto del 2017.

Y. Wang, X. Zhang, “Realization of Mandarin continuous digits speech recognition system using Sphinx”, 2010 International Symposium on Computer Communication Control and Automation (3CA), 2010. [Online]. Disponible en http://ieeexplore.ieee.org/document/5533801/, consultado por última vez el 16 de agosto del 2017.

A. Ceballos, A. F. Serna-Morales, F. Prieto, J. B. Gómez, T. Redarce, “Sistema audiovisual para reconocimiento de coman-dos”. Ingeniare: Revista Chilena de Ingeniería, vol. 19, no. 2, 2011, pp. 278-291. [Online]. Disponible en https://search.proquest.com/docview/906290348?accountid=43636, consultado por última vez el 16 de agosto del 2017.

A. Ceballos, "Desarrollo de un sistema de manipulación de un robot a través de movimientos de la boca y de comandos de voz". Tesis para optar al grado de Magíster. Universidad Nacional de Colombia, Sede Manizales. Colombia. 2009.

R. Calvo Arias, “Reconocimiento de voz”. Proyecto de Graduación licenciatura en Ingeniería Electrónica, Instituto Tecnológico de Costa Rica. Escuela de Ingeniería Electrónica, 2002, [Online]. Disponible en http://repositoriotec.tec.ac.cr/handle/2238/5652, consultado por última vez el 16 de agosto del 2017.

E. Gamma, D. Amaya Hurtado, O. Sandoval, “Revisión de las tecnologías y aplicaciones del habla sub-vocal”. Ingeniería, vol. 20, no. 2, pp. 277–288. [Online]. Disponible en http://dx.doi.org/10.14483/udistrital.jour.reving.2015.2.a07, consultado por últi-ma vez el 16 de agosto del 2017.

S. Oberle, “Detection and estimation of acoustical signals using hidden Markov model”. Ph.D. dissertation, Eidgenoessische Technische Hochschule Zuerich, Switzerland, ProQuest Dissertations Publishing, 1999. [Online]. Disponible en https://search.proquest.com/docview/304550977?accountid=43636, consultado por última vez el 16 de agosto del 2017.

A. Varela, H. Cuayáhuitl y J. A. Nolazco-Flores, “Creating a Mexican Spanish version of the CMU Sphinx-III speech recognition system”, Progress in Pattern Recognition, Speech and Image Analysis, Springer, 2003, pp. 251–258.

R. Mingov, E. Zdravevski y P. Lameski, “Application of Russian Language Phonemics to Generate Macedonian Speech Recognition Model Using Sphinx”, ICT Innovations 2016, September 2016. [Online]. Disponible en https://www.researchgate.net/publication/308626983_Application_of_Russian_Language_Phonemics_to_Generate_Macedonian_Speech_Recognition_Model_Using_Sphinx, consultado por última vez el 16 de agosto del 2017.

P. Lamere, P. Kwok, E. B. Gouv, R. Singh, W. Walker, y P. Wolf, The CMU sphinx-4 speech recognition system, Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing, Hong Kong, 2003. [Online]. Disponible en http://mlsp.cs.cmu.edu/people/rsingh/papers_old/icassp03-sphinx4_2.pdf, consultado por última vez el 16 de agosto del 2017.

M. Raab, R. Gruhn y E. Noeth, “A scalable architecture for multilingual speech recognition on embedded devices”. Speech Communication, vol. 53, no. 1, January 2011, pp. 62-74.

L. Villaseñor, M. Montes, M. Pérez, D. Vaufreydaz, Comparación léxica de corpus para generación de modelos de lenguaje, IBERAMIA workshop on Multilingual Information Access and Natural Language, 2002. [Online]. Disponible en http://hal.inria.fr/docs/00/32/64/02/PDF/Villasenor02a.pdf, consultado por última vez el 16 de agosto del 2017.

How to Cite
Celis Nuñez, J. D., Llanos Castro, R. A., Medina Delgado, B., Sepúlveda Mora, S. B., & Castro Casadiego, S. A. (2017). Acoustic and Language Modeling for Speech Recognition of a Spanish Dialect from the Cucuta Colombian Region. Ingeniería, 22(3), 362-376. https://doi.org/10.14483/23448393.11616
Published: 2017-09-12
Section
Computational Intelligence

Most read articles by the same author(s)