Publicado:
2021-06-26 — Actualizado el 2021-07-27Versiones
- 2021-07-27 (4)
- 2021-07-27 (3)
- 2021-07-27 (2)
- 2021-06-26 (1)
Número:
Vol. 8 Núm. 1 (2020): Enero-Agosto 2020Sección:
RevisiónProcesamiento del lenguaje natural (PLN) - GPT-3.
Aplicación en la Ingeniería de Software
Palabras clave:
Lenguaje, Computarizado, Ingeniería de Software, Inteligencia Artificial, GPT-3, Transformers (es).Descargas
Resumen (es)
Los cambios tecnológicos han permitido que el Lenguaje Natural (LN de ahora en adelante), en el que hablan los seres humanos cotidianamente se pueda incorporar en los computadores para la realización de diversas tareas que ayudan al ser humano a una mejor redacción o comprensión de un texto extenso, traducción y otras. Sin embargo, lo que se estudia en el presente documento es la potencial aplicación en el campo de la Ingeniería de Software de modelos como GPT-3, BERT con su arquitectura Transformer y otros, además de las aplicaciones derivadas que nacen de estas como los chatbots y su relación con procesos propios del ciclo de vida del software. En este contexto, se explican las generalidades del LN, del LN Computarizado, Inteligencia Artificial, Redes Neuronales para exponer los modelos sobresalientes en el campo del Procesamiento de LN, las aplicaciones y finalmente la cercanía con la Ingeniería de Software para evaluar las perspectivas de este tipo de innovaciones
Resumen (en)
Technological changes have allowed Natural Language (LN from now on), in which human beings speak on a daily basis, to be incorporated into computers to carry out various tasks that help human beings to better write or understand a text. long text, translation, and others. However, what is studied in this document is the potential application in the field of Software Engineering of models such as GPT-3, BERT with its Transformer architecture and others, in addition to the derivative applications that arise from these such as chatbots and its relationship with processes of the software life cycle. In this context, the generalities of LN, Computerized LN, Artificial Intelligence, Neural Networks are explained to expose the outstanding models in LN Processing, applications and finally the proximity with Software Engineering to evaluate the perspectives of this type of innovations.
Referencias
OpenAI, «Blog OpenAI,» OpenAI, 22 09 2020. [En línea]. Disponible: https://openai.com/blog/openai-licenses-gpt-3-technology-to-microsoft/. [Último acceso: 12 11 2020].
OpenAI, «Api Beta GPT-3,» OpenAI, 22 06 2020. [En línea]. Disponible: https://beta.openai.com/. [Último acceso: 12 11 2020].
T. B. Brown y e. al., «Language Models are Few-Shot Learners,» arXiv, pp. 1-75, 2020.
Z. Gao, a. A. Feng, a. X. Song y X. Wu, «Target-Dependent Sentiment Classification With BERT,» IEEE Access, vol. 7, pp. 154290-154299, 2019.
B. Manrique-Losada, «PROCESAMIENTO DE LENGUAJE NATURAL PARA ADQUISICIÓN DE CONOCIMIENTO: APROXIMACIONES DESDE LA INGENIERÍA DE REQUISITOS,» Revista QUID, nº 24, pp. 69-78, 2015.
A. Cortez Vásquez, H. Vega Huerta y J. Pariona Quispe, «Procesamiento de lenguaje natural,» Revista de Ingeniería de Sistemas e Informática, vol. 6, nº 2, pp. 45-54, 2009.
M. Vicente, C. Barros, F. S. Peregrino, F. Agullo y E. Lloret, «La generación de lenguaje natural: análisis del estado actual,» Computación y Sistemas, vol. 19, nº 4, pp. 721-756, 2015.
I. GIL LEIVA y J. V. RODRÍGUEZ MUÑOZ, «EL PROCESAMIENTO DEL LENGUAJE NATURAL APLICADO AL ANÁLISIS DEL CONTENIDO DE LOS DOCUMENTOS,» Revista General de Información y Documentación, vol. 6, nº 2, pp. 205-218, 1996.
L. Munárriz, Fundamentos de inteligencia artificial, Murcia: Universidad de Murcia, 1994, pp. 19-21.
P. Yalla y N. Sharma, «Integrating Natural Language Processing and Software Engineering,» International Journal of Software Engineering and Its Applications, vol. 9, nº 11, pp. 127-136, 2015.
D. J. Matich, «Redes Neuronales: Conceptos Básicos y Aplicaciones.,» 03 03 2001. [En línea]. Disponible: https://www.frro.utn.edu.ar/repositorio/catedras/quimica/5_anio/orientadora1/monograias/matich-redesneuronales.pdf. [Último acceso: 5 11 2020].
J. A. Moncho, «Modelos contextuales e incontextuales de palabras para Twitter-Trabajo de Grado,» Universidad Politécnica de Valencia, 20 08 2019. [En línea]. Disponible: https://riunet.upv.es/bitstream/handle/10251/151024/Arias%20-%20Modelos%20contextuales%20e%20incontextuales%20de%20palabras%20para%20Twitter..pdf?sequence=1&isAllowed=y. [Último acceso: 15 11 2020].
Y. Bengio, R. Ducharme, P. Vincent y C. Jauvin, «A Neural Probabilistic Language Model,» Journal of Machine Learning Research, nº 3, p. 1137–1155, 2003.
T. Mikolov, M. Karafiat, L. Burget, J. “. Cernock y S. Khudanpur, «Recurrent neural network based language model,» INTERSPEECH 2010, vol. 1, nº 1, pp. 1045-1048, 2010.
A. Graves, «Generating Sequences With Recurrent Neural Networks,» Neural and Evolutionary Computing, pp. 1-43, 06 2014.
R. Socher, A. Perelygin, J. Wu, J. Chuang, C. D. Manning, A. Ng y C. Potts, Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank, Seattle, Washington, USA: Association for Computational Linguistics, 2013, pp. 1631--1642.
A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, Ł. Kaiser y I. Polosukhin, «Attention Is All You Need,» de 31st Conference on Neural Information Processing Systems, Long Beach, CA, USA, 2017.
C. Alt, M. Hubner y L. Hennig, «Fine-tuning Pre-Trained Transformer Language Models to Distantly Supervised Relation Extraction,» arXiv, p. 11, 2019.
https://openai.com/about/, «OpenIA,» OpenIA, 05 11 2015. [En línea]. Disponible: https://openai.com/about/. [Último acceso: 20 11 2020].
A. Radford, J. Wu, R. Child, D. Luan, D. Amodei y I. Sutskever, «Language Models are Unsupervised Multitask Learners,» OpenAI, pp. 1-24, 2018.
L. Floridi y M. Chiriatti, «GPT-3: Its Nature, Scope, Limits, and Consequences,» Minds and Machines, pp. 1-14, 2020.
P. Perazzo, «GPT-3 and the Rise of Human-centric Adaptive Software - Intro,» Perazzo, P., 29 08 2020. [En línea]. Disponible: Ppaolo.substack.com. [Último acceso: 3 11 2020].
J. Devlin, M.-W. Chang, K. Lee y K. Toutanova, «BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding,» arXiv, pp. 1-16, 2019.
J. Howard y S. Ruder, «Universal Language Model Fine-tuning for Text Classification,» arXiv, pp. 1-12, 2018.
J. Gomez-Perez, R. Denaux y A. Garcia-Silva, A Practical Guide to Hybrid Natural Language Processing: Combining Neural Models and Knowledge Graphs for NLP, Suiza: Springer International Publishing, 2020.
M. Rhanoui, M. Mikram, S. Yousfi y S. Barzali, «A CNN-BiLSTM Model for Document-Level Sentiment Analysis,» Machine Learning and Knowledge Extraction, vol. 1, pp. 832-847, 2019.
D. Adiwardana, M.-T. Luong, D. R. So, J. Hall, N. Fiedel, R. Thoppilan, Z. Yang, A. Kulshreshtha, G. Nemade, Y. Lu y Q. V. Le, «Towards a Human-like Open-Domain Chatbot,» arXiv, vol. 1, pp. 1-38, 2020.
«The Stanford Natural Language Processing Group,» The Stanford University, 07 04 2009. [En línea]. Disponible: https://nlp.stanford.edu/IR-book/html/htmledition/tokenization-1.html. [Último acceso: 19 11 2020].
Serban, I. V., C. Sankar, M. Germain, S. Zhang, Z. Lin, S. Subramanian, T. Kim, M. Pieper, S. Chandar, N. Rosemary Ke, S. Rajeshwar, A. de Brebisson, J. M. Sotelo, D. Suhubdy y V, «A Deep Reinforcement Learning Chatbot,» arXiv, pp. 1-40, 2017.
F. AI, «Facebook AI,» Facebook, 20 04 2020. [En línea]. Disponible: https://ai.facebook.com/blog/state-of-the-art-open-source-chatbot/. [Último acceso: 5 11 2020].
S. Roller, E. Dinan, N. Goyal, D. Ju, M. Williamson, Y. Liu, J. Xu, M. Ott, K. Shuster, E. M. Smith, Y.-L. Boureau y J. Weston, «Recipes for building an open-domain chatbot,» arXiv, pp. 1-25, 2020.
E. M. Smith, M. Williamson, K. Shuster, J. Weston y Y.-L. Boureau, «Can You Put it All Together: Evaluating Conversational Agents’ Ability to Blend Skills,» arXiv, pp. 1-10, 2020.
J. Zhu, Y. Xia, L. Wu, D. He, T. Qin, W. Zhou, H. Li y T.-Y. Liu, «INCORPORATING BERT INTO NEURAL MACHINE TRANSLATION,» arXiv, pp. 1-18, 2020.
Q. Liu, M. J. Kusner y P. Blunsom, «A Survey on Contextual Embeddings,» arXiv, pp. 1-13, 2020.
J. Yang, M. Wang, H. Zhou, C. Zhao, W. Zhang, Y. Yu y L. Li, «Towards Making the Most of BERT in Neural Machine Translation,» Proceedings of the AAAI Conference on Artificial Intelligence, vol. 41, nº 5, pp. 9379-9385, 2020.
K. Elkins y J. Chun, «Can GPT-3 Pass a Writer’s Turing Test?,» Journal of Cultural Analytics CA, vol. 1, pp. 1-16, 2020.
R. B. Soler y J. Kalita, «Abstractive and mixed summarization for long-single documents,» arXiv, pp. 1-9, 2020.
Y. Liao, Y. Wang, Q. Liu y X. Jiang, «GPT-based Generation for Classical Chinese Poetry,» arXiv, pp. 1-16, 2019.
D. Muñoz Montesinos, «MODERN METHODS OF TEXT GENERATION,» arXiv, p. 22, 2020.
G. PANTALEO y L. RINAUDO, Ingeniería de Software, Buenos Aires, Argentina: Alfaomega Grupo Editor, 2015.
I. SOMMERVILLE, Ingeniería de Software, Reino Unido: Pearson educación, 2005.
R. Gacitúa Bustos, «Procesamiento de Lenguaje Natural en Ingeniería de Requisitos: Contribuciones Potenciales y Desafíos de Investigación,» 6 05 2015. [En línea]. Disponible: https://eventos.spc.org.pe/cibse2015/pdfs/2_Tutorial15.pdf. [Último acceso: 3 11 2020].
R. S. Pressman, Ingeniería de software, un enfoque práctico, McGraw-Hill, 2006.
Universidad de Sevilla, «PROBLEMÁTICA DE LOS PROYECTOS SOFTWARE,» [En línea]. Disponible: http://bibing.us.es/proyectos/abreproy/70193/fichero/5.+PROBLEM%C3%81TICA+DE+LOS+PROYECTOS+SOFTWARE.pdf. [Último acceso: 4 11 2020].
G. H. a. J. D. C. Litvak, «C. Litvak, G. Hadad and J. Doorn, "Procesamiento de Lenguaje Natural para Estudiar Completitud de Requisitos", UNLaM, pp. 498-502, 2015.,» UNLaM, pp. 498-502, 2015.
C. V. C. a. S. G. A. J. Guzmán Luna, «"Un modelo de procesamiento de lenguaje natural para la detección de errores en requisitos de software,» evista Virtual Universidad Católica del Norte, vol. 46, pp. 69-186, 2015.
W. R. B. R. Ramírez Blauvelt, «Metodología para la estimación de proyectos de desarrollo de software para la empresa sophos banking solutions s.a.s.,» Maestría en administración, Universidad EAFIT, 2015.
J. L. Duarte, Metodología para la detección de requerimientos subjetivos en el diseño de producto- Doctorado, Cataluña: Universitat Politècnica de Catalunya, 2006.
A. Joshi, «GPT3 Examples,» GPT3 Examples, 2 08 2020. [En línea]. Disponible: https://gpt3examples.com/. [Último acceso: 20 11 2020].
J. Singer, «GPT-3 (what, why, how), Figma Disponible for you,» GPT3 Examples, 12 05 2020. [En línea]. Disponible: https://ibuildmyideas.substack.com/p/i-build-my-ideas-8-071920. [Último acceso: 04 11 2020].
Cómo citar
APA
ACM
ACS
ABNT
Chicago
Harvard
IEEE
MLA
Turabian
Vancouver
Descargar cita
Visitas
Descargas
Licencia
Derechos de autor 2021 Tecnología Investigación y Academia
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-CompartirIgual 4.0.
Reconocimiento – NoComercial – CompartirIgual (by-nc-sa): No se permite el uso comercial de la obra original, las obras derivadas deben circular con las mismas condiciones de esta licencia realizando la correcta atribución al autor.
Esta obra está bajo una licencia de Creative Commons Reconocimiento-NoComercial-CompartirIgual 4.0 Internacional