Aplicación de Deep Learning para la identificación de defectos superficiales utilizados en control de calidad de manufactura y producción industrial: Una revisión de la literatura

Procesos de fabricación

Es común que existan desperfectos y desviaciones de la calidad en los procesos de fabricación, por esa razón para ⁶, es importante la identificación y el seguimiento de las causas fundamentales de dichas fallas y desviaciones, propone un modelo de redes causales usando redes bayesianas para las diferentes etapas de fabricación, analizando a partir de tres maneras diferentes: sin conocimiento experto, algún conocimiento experto y estructura del modelo completo, de manera que se pudo evidenciar que entre mayor sea el tamaño del conjunto de entrenamiento del modelo, se obtienen mejores resultados. ⁷ proponen un modelo de Deep Belief Networks con capacidad de entrenarse con un dominio de origen, para obtener los parámetros de dominio y finalmente comparar los defectos de las muestras con la imagen de reconstrucción (planilla sin defectos), este modelo es muy beneficioso debido a que puede solucionar problemas de sobreajuste de la red DBN por medio de Transfer Learning y así se puede ajustar y adaptar mejor para detectar defectos de alta precisión. ⁸ proponen un método de reconstrucción de imágenes que permita variar los parámetros geométricos necesarios para desarrollar un modelo de Machine Learning a partir de un modelo de red inferior, debido a que proporciona una muy buena tasa de aciertos y fiabilidad al sistema.

Mantenimiento

Machine Learning y Deep Learning han surgido como una herramienta prometedora ⁹ en las aplicaciones de mantenimiento predictivo (PdM), puesto que pueden contribuir a que se eviten fallos en los equipos utilizados en las líneas de producción. Para ¹⁰, tener un mantenimiento predictivo sirve para detectar las inestabilidades de los sistemas para que puedan ser arregladas antes de que afecten a la producción.

Sin embargo, para ⁹, el rendimiento de las aplicaciones de PdM depende de la elección adecuada del método ML. También es importante señalar que para obtener buenos resultados de una estrategia PdM en una planta, es necesario que ya haya implementado las estrategias R2F (mantenimiento correctivo) y PvM (mantenimiento preventivo) en su proceso de recolección de datos para el modelado PdM. Además, el mayor problema para obtener un alto porcentaje de acierto se encuentra en contrastar bien el histórico de datos y los datos actuales.

Líneas de producción

Si un error de montaje no se detecta en el momento antes de realizar el proceso productivo, se pueden generar pérdidas económicas y errores en la calidad del producto. Por esa razón, ⁵, ¹¹, para supervisar el proceso de montaje, estudiaron el reconocimiento de la acción de montaje y el reconocimiento de las piezas de los lotes para detectar una acción de montaje de pérdida, utilizando una red neuronal convolucional tridimensional para detectar errores de montaje y una red neuronal completa para el reconocimiento de piezas identificando las faltantes o desalineadas. Para ¹², la inteligencia artificial en el área de calidad permite aumentar el rendimiento y puede reducir el desperdicio de material y el consumo de energía, por esa razón los algoritmos de Deep Learning lograron resultados en muchos dominios diferentes, pero aún no se han investigado en detalle en las líneas de producción. En el caso especial para la fabricación de válvulas de gas y los posibles fallos en la planta BSH en Santander (España), ⁴ utilizo técnicas de Machine Learning para reducir los costos de la no calidad por la generación de chatarras utilizando redes neuronales.

Industria farmacéutica

Dentro de la producción de productos farmacéuticos, en el marco de la fabricación continua, ¹³ investigaron la línea de granulación húmeda continua para formas farmacéuticas sólidas. La línea estaba conformada por las operaciones de granulación húmeda de doble tornillo, secado en leche fluido, criba y tableado. Para la investigación se seleccionaron los principales siete factores que construyen los atributos de calidad (flujos de masa de API, excipiente de los dos alimentadores, tasa de alimentación de líquido, velocidad de rotación de la extrusora, velocidad de rotación, temperatura y flujo de aire del secador). Otros atributos de calidad fueron controlados en tiempo real por Process Analytical Technologies (PAT). Se utilizaron técnicas de Deep Learning para predecir el atributo de calidad con los parámetros del proceso en la entrada de una red neuronal de tres capas con seis neuronas ocultas, utilizando la función de activación ReLU (Rectified Linear Unit) y el optimizador ADAM con 2500 épocas (número de ciclo de aprendizaje). A través del contenido de API, los valores de PSD (Distribución de tamaño de partícula) y de LOD (perdida por secado) se estimaron con un error de calibración inferior al 10 %; las redes neuronales profundas pueden aprender de los valores ruidosos de PAT y generar predicciones.

Industria agrícola y alimenticia

En este caso, las redes neuronales fueron de utilidad en una gran variedad de productos distintos, ¹⁴ utilizan una combinación de red neuronal con algoritmo genético que permite generar un patrón óptimo para tratar el calor en los tomates teniendo como medida la coloración superficial. De manera similar, por medio de redes neuronales se utilizaron fotografías de productos orgánicos para determinar el nivel de aceptabilidad en la compra basada en características de calidad superficial como magulladuras, textura y color ¹⁵.

La predicción de cosecha y los rendimientos semanales son campos en los que también se generaron estudios desde hace ya varios años ¹⁶, en este caso, utilizaron redes neuronales artificiales para predecir cosechas basados en variables como la intensidad de los colores rojos, verdes y azules en el desarrollo de pimientos. Así mismo en territorio colombiano, el color fue utilizado como criterio de validación para predecir la calidad del aceite extraído de la palma, usando redes neuronales artificiales, redes neuronales convolucionales y algoritmos de Random Forest ¹⁷.

También en Colombia ¹⁸ generó una aplicación por medio de redes neuronales que permite un conteo automático de los frutos y las flores de un árbol de aguacate, lo cual facilita hacer seguimiento y monitoreo automático pensado para trabajar con imágenes de baja resolución, esto con el fin de ofrecer una alternativa útil, innovadora y de bajos costos de manejo, como resultado la arquitectura YOLOv5 generó un 80% de precisión para el fruto y 39% para las flores.

En el ámbito específico del control de plagas y enfermedades que generan necesariamente fallos en la calidad del producto final también se tienen antecedentes prácticos, en Colombia ¹⁹ resolvieron el problema de clasificación y detección de la enfermedad de la sigatoka negra en plantas de banano, usando redes neuronales convolucionales con arquitectura VGG19, ²⁰ generó por medio del Transfer Learning un modelo capaz de detectar y reconocer el daño causado por 10 tipos de plagas con efectividad de más del 93% equiparable a resultados de modelos de redes neuronales y expertos humanos. ²¹ aplicaron Deep Learning, Support Vector Machines (SVM) y redes neuronales convolucionales para detectar y clasificar el café trillado con broca, obteniendo resultados superiores con el SVM con un 96% de efectividad, utilizando 3.000 imágenes de entrenamiento.

²² trabaja sobre la calidad superficial de los botones de rosas de importación, por medio de aplicación de las variantes Qadratic y Linear de SVM logra una clasificación exitosa de tan solo el 80% con el mejor de ellos, abriendo la posibilidad de aplicación de métodos como la red neuronal convolucional en busca de mejorar los resultados. Dentro de ese marco de posibilidades abiertas de aplicación de Deep Learning, ²³ expone el intento mejorable de aplicación de control estadístico de calidad (SQC) en los nuggets de pollo de la compañía Mabbel Nugget por medio de las siete herramientas, implementando un proceso automatizable y sesgado por la incertidumbre.

Industria textil

Para esta industria hay necesidad de precisión en la detección de defectos superficiales en grandes volúmenes de producto terminado, como respuesta a esta necesidad, ²⁴ generaron un modelo para detección de defectos de tejido que es eficiente y sin supervisión, usa una arquitectura de codificación automática de ruido convolucional de múltiples escalas que se basan en una pirámide gaussiana para sintetizar defectos de distintos tamaños. Como alternativa, en el mismo campo de la detección de defectos superficiales en la calidad del tejido, ²⁵ desarrollan un modelo con una red de ondas de Gabor en conjunción con varios filtros morfológicos simples bajo el diseño de una estructura lineal con una alta eficacia en detección y aislamiento de diferentes tipos de defectos en el tejido. Por su parte, ²⁶ creó un servicio web entrenado en Google Cloud Plataform basado en visión por computadora conDeep Learning que permite la inferencia del tipo de defecto en el textil y su ubicación, obteniendo una precisión de casi el 90 %.

El dimensionamiento de defectos es problema de mayor complejidad cuando se estudia y evalúa la calidad de tela con un alto nivel de diseño, variante en formas y tonalidades, así como en textura cuando se compone de más de un tejido, para enfrentar esto, ³ encontraron como aporte que en su mayoría son arquitecturas de tipo “no- basada en motivos” mientras que algunos casos menos frecuentes eran tratados por medio del modelo más innovador llamado “basado en motivos” para la detección de defectos en tejido.

Industria automotriz

Un claro ejemplo es la clasificación binaria para la detección de defectos en las soldaduras de baja calidad del vehículo y para cumplir con los exigentes tiempos de producción de esta industria y aumentar la capacidad de predicción del clasificador se aplicaron algoritmos de Relief y HCR (correlación hibrida y basada en ranking) que permiten eliminar características irrelevantes y redundantes del conjunto de datos, obteniendo resultados del 100% en detección de unidades defectuosas, este alto porcentaje debido al entorno de alta conformidad requerida ²¹.

Los modelos de clasificación binaria también fueron evaluados y validados por ¹¹ utilizando datos de un total de 18.148 automóviles en una línea real de ensamblaje automotriz dentro de la planta de Volkswagen AutoEuropa, se identificaron relaciones complejas por medio del análisis complejo de datos que considera la variabilidad introducida por los operadores humanos al circuito en las primeras etapas que pueden usarse para predecir las desviaciones de los requisitos de calidad al final de la línea de producción. Se implementó una variada gama de herramientas, que fueron Método Gaussian Naive Bayes, K-Neighbors Neighbours, XGBoost, Random Forest y algoritmo SVM, siendo los no lineales los de mejor resultado en las medidas de desempeño, permitiendo ubicar relaciones no lineales entre las variables que ayudan al clasificador a etiquetar los datos como “Ok” o “NoOK”. ⁽²⁷ utilizaron un algoritmo de visión basado en técnicas de reflectometría para realizar control de calidad en superficies de carrocerías de autos, como alternativa eficiente al Deep Learning como protagonista.

Otro caso que muestra la versatilidad con la que el Deep Learning se aplica a prácticamente cualquier parte de la producción, la desarrollaron ²⁸, que generaron un modelo para determinar la calidad de las plumas de pato y ganso que se utilizan en la fabricación de volantes de autos, evaluando variables como factor de arqueamiento, curvatura y grosor y utilizando técnicas de matriz de membresía difusa y clasificación Fisher Linear Discriminant (FLD).

Servicios post venta

La retroalimentación desde la percepción de postventa de los productos es una manera complementaria muy eficaz de controlar la calidad y el nivel de satisfacción que genera el producto terminado, en ²⁹ se aprecia el uso de Machine Learning para generar una puntuación de anomalías en motores de autos con modelos de clasificación binaria capaz de detectar fallos antes que fuesen entregados, y luego con manejo mediante integración de datos vincularon los datos de postventa a los de fabricación para generar políticas de gestión de calidad que dieran respuesta a la calidad realmente percibida. Del mismo modo y utilizando como fuente los datos de postventa disponibles en las reseñas en línea de los clientes, ³⁰ propuso clasificadores basados en redes neuronales recurrentes (RNN) para identificar los comentarios negativos en la web con respecto a un producto y en complemento aplicó análisis lineal discriminante (LDA) para identificar los defectos de calidad.

Industria ferroviaria

La industria ferroviaria es utilizada por la logística de distribución de muchas otras industrias a nivel global usando los trenes como transporte de sus mercaderías, en esta industria se aplicó Deep Learning para enfrentarse a los costosos y frecuentes fallos en las ruedas de los trenes ³¹, para su trabajo se instalaron en una red ferroviaria sensores capaces de medir las variables necesarias de las ruedas, luego con la implementación de máquina de vectores de soporte (SVM) y redes neuronales convolucionales (CNN) se identificaron y clasificaron exitosamente los fallos que presentan cada una de las ruedas de estudio. En esta misma industria existen normas internacionales de calidad que regulan superficie, planitud y dimensión del carril ferroviario, un producto complejo de inspeccionar por su largo tamaño, en este caso también fue implementado el Deep Learning como parte de la solución, ³² utilizó visión artificial y reconstrucción en 3D como entrada para algoritmos de redes neuronales sucesivas que se utilizan como clasificadores y como filtro de detección de errores de fabricación.

Impresión 3D

En impresión 3D, la inspección de control de calidad es necesaria para lograr precisión, ³³ aplicaron herramientas como Random Forest, Support Vector Regression (SVR) y Ridge Regression (RR) para predecir la rugosidad de la superficie de piezas creadas por medio de la fabricación de filamentos fundidos (FFF) en la fusión selectiva por láser (SLM). Una réplica de este estudio fue realizada por ³⁴, quienes lograron implementar también un modelo predictivo para la rugosidad de superficie en FFF que combina las mismas técnicas que el anterior, enfatizando en evitar el sobreajuste y adicionando algoritmos de red de enlaces funcionales de vectores aleatorios (RVFL) y árboles de clasificación y regresión (CART).

En orientación hacia el cumplimiento de la rapidez y la precisión necesarias para garantizar los estándares de calidad a bajo costo en manufactura, ³⁵ buscaron aportar a la industria de la impresión 4.0 para mejorar el rendimiento de la detección de defectos en cilindros de huecograbado generando un modelo de sensor suave que utiliza una red neuronal profunda (DNN) que compara la superficie escaneada con el archivo grabado, encontrando defectos ópticos para avalar la entrega correcta del cilindro o su devolución para corrección.

Industria metalúrgica

Para la detección de heterogeneidades en productos metálicos, ² desarrolló un sistema automatizado de inspección no destructiva de materiales, usando la técnica de ultrasonido para la detección de imperfecciones en piezas metálicas de acero al carbono.

Por otro lado, para mejorar el reconocimiento de defectos, ³⁶ desarrollaron un nuevo marco de detección a partir de una red de prioridad de clasificación (CPN) y una nueva red de clasificación multigrupo, red neuronal convolucional para inspeccionar defectos en la superficie de acero para la predicción de calidad en placas laminadas en caliente, esto se realizó con el fin de comparar los modelos de aprendizaje que actualmente son los más populares y utilizados para las inspecciones ³⁷.

Con la finalidad de alcanzar ventajas competitivas en la producción a causa de la presencia de defectos superficiales como depresiones, rasguños, abolladuras, remanentes de la escala, agujeros y moho en líneas de corte longitudinal del sector de centros de servicio de acero como Gonvarri, ³⁸ desarrollaron un sistema de inspección de defectos superficiales presentes en diferentes bobinas, basado en redes neuronales autoorganizadas. Para tal fin, se diseñaron dos clasificadores basados en los algoritmos de mapas autoorganizados (SOM) y la cuantificación del vector de aprendizaje (LVQ) con el objetivo de reformar los mapas topológicos con imágenes de baja resolución en cada entrenamiento de la red hasta que el error sea aproximadamente cero para que la clasificación sea más efectiva.

[3] analizaron diferentes métodos de Deep Learning para la detección de defectos, clasificándolos para diferentes gamas de productos como componentes electrónicos, tuberías y piezas soldadas, a través de diferentes pruebas ultrasónicas, filtrado, Deep Learning y visión artificial, con el fin de comparar los resultados experimentales en cuanto a alta precisión, alto posicionamiento, detección rápida, objeto pequeño, fondo complejo, detección de objetos ocluidos y asociación de los objetos.

En los cañones de armas usados es muy común la existencia de defectos por desgaste normal, picaduras corrosivas, óxido o erosión, de manera que ³⁹ capturaron de manera no destructiva y digital las características de las regiones defectuosas de estos artefactos, con el fin de segmentarlas y clasificarlas automáticamente por medio de selección secuencial y pirámide gaussiana multinivel.

Las piezas fundidas son fundamentales para las industrias aeronáutica, automotriz, armamentística o naval, de manera que cualquier tipo de defecto en alguna pieza puede traer un resultado fatal. ¹ realizaron la adaptación de un sistema de visión artificial de acuerdo con la segmentación de las regiones de fundición, posteriormente utilizaron Machine Learning (redes bayesianas, máquina de vectores de soporte, vecino k más cercano y árboles de decisión) para categorizar las regiones defectuosas y finalmente realizaron una validación cruzada empírica utilizando datos reales, donde se encontró que el método de vecino k más cercano con k=2 fue el que tuvo mejor precisión: 95,77 %. Con base en el experimento que realizó para piezas de fundición, ⁴⁰ estableció que el limitante de esta técnica se basa en la cantidad de datos para alimentar el modelo.

Del mismo modo, para satisfacer la creciente demanda de productos de alta calidad que involucran procesos de soldadura y función, ⁴¹ proponen un sistema de identificación de defectos en imágenes de rayos x de fundición de metal, basado en la arquitectura de redes neuronales convolucionales (CNN) en Mask Region, fundamentándose en el rendimiento sobresaliente de las CNN en cuanto a la clasificación de imágenes como también con las tareas de localización. En esta propuesta se buscó aprovechar el Transfer Learning como complemento del Deep Learning, con el fin de reducir el requerimiento de grandes conjuntos de datos y aumentar la predicción del modelo entrenado.

Otras industrias

En el trabajo de ⁴² se evaluó la calidad de una marca de taladros aplicando Random Forest para predecir las características de calidad geométrica y dimensional de los agujeros escariados. En una industria totalmente distinta como la fabricación de tableros, ⁴³ logró implementar una combinación de regresiones logísticas, algoritmo de máquinas de vectores de apoyo SVM y redes neuronales para detectar patrones y generar clasificaciones de conforme o no conforme con respecto a los parámetros de calidad de los productos. La herramienta de SVM también fue exitosamente utilizada con su variante la máquina de vectores de soporte de mínimos cuadrados (LSSVM) pero aplicada en el contexto de la inspección periódica de estructuras de muros de hormigón, enfatizando en la detección de fallas por medio de la identificación de patrones, creando un modelo de solución capaz de identificar y clasificar diferentes tipos de grietas y daños por astillamiento usando reconocimiento de imágenes ^44).

El Deep Learning para calidad no solo se puede utilizar con grandes volúmenes de datos, ⁴⁵ muestran que en la industria aeronáutica por ejemplo se utilizan los materiales compuestos para fabricación de aeronaves civiles y militares; se utilizó Transfer Learning como complemento para generar un modelo de red neuronal convolucional profunda basado en Deep Learning.

En la medicina y más específicamente en la rama de la oncología, ⁴⁶ proponen un estudio de los usos que se le han dado al Machine Learning y al Deep Learning; básicamente se evalúa el impacto sobre la planeación previa y la calidad y seguridad en el tratamiento personalizado basado en predicciones.

Por otra parte en ⁴⁷ se llega a un punto de implementación ideal en donde el control de calidad en fabricación de porcelana no solo es revisado sino automatizado con robots capaces de interactuar con operadores y que operan bajo modelos redes neuronales de actor (ANN) y metodologías de aprendizaje por refuerzo para aprender nuevas rutas durante situaciones inesperadas en inspecciones de calidad

⁴⁸ crearon un modelo de detección y clasificación de defectos basado en Deep Learning de redes neuronales convolucionales para superficies de vidrios de panel táctil, generando así tecnología aplicable a una gran variedad de productos de consumo masivo para automatizar y mejorar el rendimiento de sus inspecciones y controles de calidad. Las redes neuronales convolucionales también fueron utilizadas por ⁴⁹ en conjunto con el escaneo láser para mapear la superficie de los cables de alimentación de energía eléctrica y así detectar defectos en su superficie a un nivel de producción industrial.

En una producción especializada y manual como la fabricación de habanos ⁵⁰ encontraron cabida para la inteligencia artificial construyendo un software basado en la técnica Knowledge Discovery and Data Mining (KDD) para tomar el conocimiento proveniente de expertos en variables como peso, diámetro, dureza, dimensión y empalme de los habanos y generar criterios automáticos de evaluación en las inspecciones de calidad de este producto.

Para ⁵¹ un inconveniente de alto impacto negativo en el desarrollo de software es la corrección de errores posterior a la culminación del programa, puesto que su arreglo implica grandes variaciones de funcionamiento, aumentando los impactos de los defectos ya cometidos; para hacerle frente se utilizó el Deep Learning y técnicas como Support Vector Machines (SVM) y Ensamble Machines para la extracción de características de los módulos de software, en adición implementa regresiones de mínimos cuadrados parciales y eliminación recursiva de características para la reducción de dimensiones del problema.

En el reciclaje, un trabajo realizado en Colombia ⁵² generó un prototipo de sistema automatizado que conjuga una visión artificial, una red convolucional con 95% de efectividad y un Arduino para generar una clasificación entre plástico, vidrio y lata, lo que permite acelerar el proceso de reutilización y eliminar riesgos asociados a la manipulación de estos materiales. Industrias de servicios vitales y masivos tal como la del agua potable pueden aplicar Deep Learning en la detección de microorganismos presentes en el vital elemento con el fin de controlar su calidad, tal como lograron hacerlo ⁵³, quienes apoyados por redes neuronales convoluciones generaron un 95,65% de efectividad en detección de cuatro diferentes microrganismos.

El mantenimiento y las fallas de los equipos desempeñan un papel importante en la calidad final de los productos, por lo que en Colombia ⁵⁴ generó algoritmos de aprendizaje supervisado de clasificación y regresión en conjunto con redes neuronales creando algoritmos híbridos para maximizar el rendimiento final del modelo que se encarga de predecir fallos en máquinas para programar producciones y mantenimientos con antelación.

Procesos de ensamblaje industrial pueden ser monitoreados para el control de calidad de personal poco calificado por medio de la fusión de la visión por computadora (CV) para su detección y Deep Learning para su aprendizaje en pequeñas empresas de Costa Rica, como demostró ⁵⁵