Poscosecha - Tecnología de poscosecha - Condiciones g Info Poscosecha - Tecnología de poscosecha - Condiciones g

El proceso de selección mediante métodos de inspección visual y separación manuales pueden suponer errores humanos

Solución basada en visión artificial para la inspección automatizada de gajos de mandarina

J. Suardíaz Muro, P.J. Navarro Lorente, P. Alcover Garau y C. Fernández Andrés (Universidad Politécnica de Cartagena. ETSII Industriales)B.M. Al-Hadithi (Universidad Alfonso X el Sabio)28/04/2014
2791
Las tareas de inspección visual en el campo del sector hortofrutícola presentan una complejidad adicional frente a las realizadas en otros sectores, ya que la forma de sus productos presenta una variabilidad natural que cualquier sistema de inspección visual automatizado debe tener en cuenta para llevar a cabo su tarea con éxito. El presente artículo describe un sistema de inspección visual automatizado, basado en redes neuronales, con aplicación al proceso de selección de gajos de mandarina en conserva previo a su envasado.

Introducción

Según los datos suministrados por la FAO (Food and Agriculture Organization of the United Nations) relativos a la producción de mandarina en conserva, España es el primer país productor de cítricos en Europa (ver Figura 1), sólo superado, a nivel mundial, por Brasil y China. Nuestros frutos son muy valorados por su alta calidad, aroma, sabor, jugosidad, textura, color y tamaño. En el caso de la comunidad murciana, la principal producción de esta industria corresponde a la variedad Satsuma.
Figura 1: Principales productores de mandarinas para su procesado entre los años 2004 a 2011. Fuente: FAO
Figura 1: Principales productores de mandarinas para su procesado entre los años 2004 a 2011. Fuente: FAO.
Actualmente, para el proceso de selección de gajos de mandarina se recurre principalmente a métodos de inspección visual y separación manuales (ver Figura 2), con los consiguientes inconvenientes en cuanto al factor humano (cansancio visual producido por la monotonía del trabajo y disminución en la rapidez visual debido a las horas de trabajo acumuladas) y al económico (el precio del producto acabado incorpora una importante componente debido a los costes del personal empleado). Esto hace que mercados como el chino, el marroquí o el brasileño, donde la mano de obra es mucho más barata que en el español, tengan una ventaja competitiva a la hora de poner sus productos en el mercado. Es en este marco, donde la implementación de un sistema de inspección visual automatizado se presenta como una alternativa competitiva de mejora de la calidad del producto final, ofreciendo un acabado en la inspección más homogéneo que el ofrecido por inspectores humanos, a lo que hay que añadir las altas velocidades a las que pueden llegar a trabajar y reducción de costes de producción.

La apariencia visual es un atributo sensorial muy importante en el sector alimentario, con gran impacto en su valor en el mercado. La mayor parte de las veces, la evaluación de calidad basada en el aspecto visual conlleva un análisis del color, la textura, el tamaño, la forma, a la par que los posibles defectos visuales. La evaluación de todas estas propiedades mediante inspección visual suele ser una tarea que demanda un considerable tiempo, y tiene ciertas connotaciones subjetivas derivadas de la impresión del operador que desarrolla las tareas de inspección.

Figura 2: Inspección visual de gajos de mandarina en conserva realizada de forma manual
Figura 2: Inspección visual de gajos de mandarina en conserva realizada de forma manual.

A lo largo de los últimos años se han dedicado una gran cantidad de esfuerzos para la automatización de tareas de inspección dentro del sector agroalimentario. Sin embargo, la tasa de implementación de estos sistemas no ha sido tan elevada como la que presentan otros sectores como pueda ser el automovilístico. Esto es debido a que los productos agroalimentarios presentan una variabilidad intrínseca que hace que el proceso de inspección de ciertos parámetros, como por ejemplo la forma, no sea sencillo. Los productos agroalimentarios, y en especial los gajos de mandarina en conserva, no presentan una métrica constante y los sistemas dedicados a su inspección deben tener en cuenta esta variabilidad para poder llevar a cabo la tarea con éxito. Un exhaustivo detalle de la evolución y las técnicas para la aplicación de la visión por computador en la evaluación de la calidad en frutas y hortalizas puede encontrarse en la revisión realizada por Zhagn (Zhagn et al., 2014). Asimismo, en Costa et al. (2011) puede encontrarse un análisis más detallado de los procedimientos para la inspección de formas mediante visión por computador.

Por otra parte, el desarrollo a lo largo de los últimos años de los avances en la potencia de los sistemas informáticos y los computadores, ha permitido una implementación más rápida y eficaz de algoritmos de procesamiento cada vez más inteligentes. Entre estos algoritmos, aquellos basados en redes neuronales han demostrado ofrecer una mayor robustez en la inspección automatizada de formas con variabilidad natural (Serhad y Hakki, 2011) (Shafiee et al., 2014).

Este artículo describe una solución que usa redes neuronales para el proceso de inspección visual automatizada de frutas en conserva basado en el concepto de firma. Dicho sistema presenta una mejora sobre un otro similar presentado por los autores (Fernández et al., 2002), donde frente a una solución basada en perceptrón multicapa con backpropagation, se han desarrollado otras alternativas que mejoran los resultados, como son las Feed Forward, Elman y Radial Basis. La Feed Forward es una red del tipo Backpropagation; la Elman es una red más nueva, que sigue utilizando el algoritmo Backpropagation, pero mejora algunas características de las anteriores. La Radial Basis es la más eficiente, debido a su sencillez, potencia y rapidez.

Descripción del sistema

La Figura 3 muestra el prototipo desarrollado, basado en una estructura mecánica fácilmente integrable en la línea de producción de una fábrica. La figura 4 esquematiza su estructura funcional. Según esta estructura, consideramos los siguientes subsistemas:

  • Sistema Electromecánico (SEM): Su cometido es alinear y separar los gajos de mandarina procedentes de las etapas de desgajado y pelado. Los elementos principales del SEM son: (1) un alineador mecánico; (2) un bastidor mecánico donde se aloja una cinta transportadora con velocidad regulada mediante variador mecánico y cuya función consiste en transportar los gajos de mandarina hasta el objetivo de la cámara; (3) dos barreras infrarrojas que permiten detectar la entrada y salida de un gajo del campo de visión de la cámara y (4) un módulo expulsor basado en un chorro de aire comprimido a 1,5 bares de presión que permite retirar gajos de la cinta transportadora sin tocarlos físicamente.
Figura 3: Prototipo desarrollado
Figura 3: Prototipo desarrollado.
  • Unidad de Control (UC): Consiste en un autómata programable que transforma las órdenes recibidas de una Unidad Maestra (UM) en señales eléctricas enviadas al SEM. También transmite información del estado de los diferentes elementos del SEM así como la información necesaria para realizar la expulsión.
  • Unidad de Adquisición de Imagen (UAI): Para lograr unas condiciones idóneas de inspección se utiliza un sistema de iluminación mixto, compuesto por iluminación a contraluz e iluminación direccional. Esto permite visualizar de manera clara los gajos sobre la cinta. Está compuesta por una cámara CCD de scan-progresivo con disparo programable, montada sobre una cabezal de 6 grados de libertad.
  • Unidad de Procesado de Imagen (UPI): Formada por una tarjeta de procesamiento de altas prestaciones Matrox Pulsar. Existe una comunicación bidireccional entre el Unidad Maestra (UM) y la UPI, permitiendo la inspección en tiempo real.
  • Unidad Maestra (UM): La inteligencia y supervisión del Sistema de Inspección Visual Automatizado (SIVA) recaen sobre la UM, que es responsable del interfaz de comunicación con la UC, el operador y el proceso de producción. La UM genera las estrategias de inspección, gracias al software desarrollado, mediante análisis con redes neuronales. En este caso se trata de un PC, dentro del cual está también conectada la tarjeta Matrox Pulsar que constituye la UPI.
Figura 4: Estructura funcional del sistema desarrollado
Figura 4: Estructura funcional del sistema desarrollado.

El funcionamiento del sistema sigue el siguiente ciclo de procesamiento, reflejado en la Figura 4: (1) Cuando un gajo de mandarina atraviesa el haz infrarrojo de entrada, la UC (calculada la velocidad de la cinta transportadora) establece un tiempo de espera para permitir que los gajos ocupen todo el campo de visión de la cámara. (2) Transcurrido ese tiempo, la UC activa el disparador de la cámara y captura una imagen que es transferida a la UPI. (3) La UC envía a la UPC mediante bus Profibus, información relativa al número de gajos completos detectados; si algún gajo queda cortado en la imagen, la UC calcula la siguiente captura de imagen de forma que quede encuadrado en el siguiente disparo de la cámara. (4) La UPI realiza un procesamiento de la imagen y obtiene un vector de características que son transferidas a la UM para que desarrolle el análisis de los gajos presentes en la imagen; una vez analizados, se manda a la UC información relativa a la calidad de cada uno de ellos y se indica si deben ser expulsados de la cinta transportadora. (5) Cuando el gajo que ha activado la entrada atraviesa la barrera infrarroja de salida, se dispara un temporizador en la UC que permite sincronizar la posterior expulsión de los gajos considerados defectuosos. (6) La UC activa las señales adecuadas para expulsar de la cinta esos gajos defectuosos mediante el disparo de chorro de aire a presión.

Extracción del vector de características

Tras realizar una binarización sobre la imagen de gajos de mandarina presentes en la línea, para cada gajo se calcula la distancia de cada punto del perímetro al centro de masas en función del ángulo. Este parámetro, conocido como ‘firma’ del objeto, se calcula de la siguiente manera: Se toma como sistema de referencia el representado en la Figura 5. El punto inicial de la representación (punto asociado al ángulo 0⁰) es el punto más alejado del eje del gajo de mandarina que presenta un menor momento de inercia (eje principal de inercia). Esto significa que antes de calcular la firma es preciso rotar el gajo de forma que este eje sea paralelo al eje X de la imagen. Dado que en el cálculo del momento de inercia participan todos los puntos del perímetro del objeto, esta selección del punto inicial presenta la ventaja de que al usar toda la información disponible del objeto se consigue una referencia robusta frente a variaciones en el contorno.
Figura 5: Referencias usadas para el cálculo de la firma
Figura 5: Referencias usadas para el cálculo de la firma.
A fin de lograr la invarianza frente al tamaño se realiza una normalización de la firma obtenida. Aunque teóricamente la firma es una función continua, el resultado que se obtiene aquí es una función discreta. La salida es un vector de 360 valores, que corresponden a cada uno de los 360 grados de la circunferencia trigonométrica. El elemento 0 contiene la distancia del centro de masas al perímetro con una orientación de 0⁰, el elemento 1 lo mismo, pero con una orientación de 1⁰ y así sucesivamente hasta el elemento 359 que ofrece la distancia según una orientación de 359⁰. El recorrido descrito se realiza en sentido horario.

Cuando se calcula la firma de la forma descrita en este artículo, surgen dos posibilidades para el cálculo de la distancia al centro de masas (Figura 6): es posible asignar a cada elemento del vector la distancia más larga o la más corta encontrada en una determinada orientación (envolventes interna y externa). La selección de una u otra genera dos tipos diferentes de firmas. Se ha optado por la interna al observar experimentalmente que esta firma produce, en el caso de gajos defectuosos, unas desviaciones mayores respecto a la media de gajos buenos que la que produce la firma basada en la envolvente externa (Figura 6.c.). Para más información sobre la aplicación de la firma en el control de calidad sobre gajos de mandarina en conserva, se recomienda acudir a los trabajos (Fernández et al., 2001) y (Suardíaz, 2000).

Figura 6: Firma considerando envolvente externa e interna
Figura 6: Firma considerando envolvente externa e interna.
Esta firma se reduce posteriormente a los valores correspondientes a una serie de ángulos prefijados, formando así el denominado vector de características que será el que se analizará, mediante la red neuronal, para determinar si el gajo correspondiente se clasifica como defectuoso o no, de acuerdo a unos criterios de calidad previamente fijados y entrenados. Este procedimiento asegura una inspección homogénea y elimina la posible subjetividad asociada al operador en la inspección manual.

La Figura 7 muestra la pantalla de la fase previa de entrenamiento, que ofrece información sobre las tasas de error asociadas al entrenamiento de la red, de utilidad para el supervisor que la configura. Una vez configurada la red neuronal, ésta queda almacenada y puede ser aplicada para clasificar nuevas entradas, sin necesidad de más entrenamiento. En la Figura 8 se puede ver una pantalla con la clasificación que la red entrenada ofrece sobre un nuevo conjunto de gajos a inspeccionar, marcando visualmente con una cruz los que considera defectuosos y que deberían retirarse de la cinta con el mecanismo de expulsión.

Figura 7: Pantalla de entrenamiento de la red neuronal
Figura 7: Pantalla de entrenamiento de la red neuronal.
Figura 8: Pantalla de clasificación frente una entrada nueva presente en la cinta transportadora
Figura 8: Pantalla de clasificación frente una entrada nueva presente en la cinta transportadora.

Resultados

En el caso de la red neuronal de tipo Feed Forward con minimización del error de la media cuadrática, con diferentes configuraciones, los mejores resultados se obtuvieron para funciones de activación tan-sig (T). Con una estructura de capas: 6T, 5T, 4T se alcanzó un índice de fiabilidad del 90% y con una estructura de capas: 10T 16T 16T 4T se llegó al 92,5%.

En el caso de redes neuronales tipo Elman, con una configuración 4T 8R 4T, se consiguió un índice de fiabilidad del 91% y con una configuración 10T 16R 8T se alcanzó el 93%.

Finalmente, en la red neuronal de tipo Radial Basis, con una configuración de ancho (spread) de 100, se consiguió un índice de fiabilidad del 94%, y con una configuración de spread del 10, se consiguió un índice de fiabilidad del 98%.

Como resultado final, se ha verificado que las redes neuronales del tipo Radial Basis, ofrecen soluciones viables para la implementación de sistemas de inspección visual automatizada que deban manejar variabilidad debido al carácter natural de la formas que analizan.

Figura 9: Prototipo montado en la línea de producción de una fábrica para realizar la verificación de su funcionalidad
Figura 9: Prototipo montado en la línea de producción de una fábrica para realizar la verificación de su funcionalidad.
El sistema fue incluido dentro de la línea de envasado de una fábrica a fin de verificar su funcionamiento (ver Figura 9). Comparando los resultados del sistema desarrollado con los obtenidos en fábrica por un inspector humano, observamos un error tipo I (error derivado de clasificar un gajo bueno como malo) de un valor de 14,6% para el sistema automático, frente a la media de 18% que ofrecen los inspectores humanos. En lo referente al error tipo II (catalogar un gajo malo como bueno), se observa una mejora sustancial, ya que el sistema presenta un valor del 10,4% frente a un 30% de media de los operadores humanos. Desde el punto de vista del productor, el peor error de todos es el tipo II, ya que hará que el envase presente un índice mayor de gajos defectuosos, lo que empeoraría la calidad del producto envasado. El error tipo I no es tan importante para el productor, ya que los gajos retirados se pueden reutilizar en otro productos no tan exigentes con la forma del gajo, tales como la producción de zumo. En consecuencia, dado que el sistema automatizado presenta un error tipo II mucho más bajo que el ofrecido por la inspección manual, es posible concluir que el sistema presentado ofrece una mejora de la calidad del producto envasado significativa, a la par que una mejora de la velocidad de inspección, ya que el sistema automatizado permite una tasa de inspección de unos 36 gajos por segundo, muy superior a la alcanzable mediante inspección manual.

Referencias bibliográficas

  • Costa, C., Antonucci, F., Pallottino, F., Aguzzi, J. y Sun, D.W. Shape Analysis of Agricultural Products: A Review of Recent Research Advances and Potential Application to Computer Vision. Food Bioprocess Technology 4: pg. 673–692. Springer. 2011.
  • Fernández, C., Suardíaz, J., Navarro, P.J. Automated visual inspection application within the industry of preserved vegetables, International conference on quality control by artificial vision QCAV’01, Le Creusot, France, May. 21-23, 2001, pp. 1-6.
  • Fernández, C., Suardíaz J., Jiménez C., Navarro, P.J., Toledo, A., Iborra, A. Analysis of Natural Contours Based on Neural Networks. Proceedings of the International Conference on Fuzzy Systems & Soft Computational Intelligence in Management and Industrial Engineering (FSSCIMIE’02). Pg. 60-64.
  • Shafiee, S., Minaei, S., Moghaddam-Charkari, N., Barzegar, M. Honey characterization using computer vision system and artificial neural networks. Food Chemistry 159: pg. 143–150. Elsevier 2014.
  • Serhad Y y Hakki I. Quality evaluation of chickpeas using an artificial neural network integrated computer vision system. International Journal of Food Science and Technology, 46, pg. 194–200. 2011.
  • Suardíaz J. Diseño de algoritmos de visión por computador mediante técnicas de selección de vectores de características. Aplicación a sistemas de inspección visual automatizada en tiempo real. Tesis doctoral de la Universidad Politécnica de Cartagena. 2000.
  • Zhang, B., Huang, W., Li, J., Zhao, C., Fan, S., Wu, J., y Liu, C. Principles, developments and applications of computer vision for external quality inspection of fruits and vegetables: A review. Food Research International 62: pg. 326–343. Elsevier 2014.