Optimización evolutiva de un método de discriminación visual entre mono y dicotiledóneas: resultados iniciales

Ángela Ribeiro, Nadir Sainz-Costa, Pedro Javier Herrera, Jesús Conesa-Muñoz (Centro de Automática y Robótica (CAR), CSIC-UPM) César Fernández-Quintanilla, Dionisio Andujar, José Dorado (Instituto de Ciencias Agrarias - ICA)20/09/2013

La idea principal de control específico de mala hierba consiste en ajustar los tratamientos de herbicidas en función de la zona infestada y el tipo de mala hierba. En este contexto, la discriminación entre las gramíneas (monocotiledóneas) y malas hierbas de hoja ancha (dicotiledóneas) es un objetivo importante sobre todo porque los dos grupos de malas hierbas pueden ser controlados adecuadamente con herbicidas específicos. En este trabajo se presenta el proceso de construcción de un método de discriminación entre gramíneas y dicotiledóneas, empleando técnicas de visión por computador. En concreto el método combina la aplicación de una batería de operaciones morfológicas con una etapa inicial de segmentación basada en color (RGB) que separa la capa vegetal en la imagen. La finalidad del trabajo es estimar en la imagen los porcentajes de cobertura de cada tipo de mala hierba.

Introducción

La agricultura de precisión tiene como finalidad ajustar el uso de los recursos y las prácticas agronómicas a los requerimientos del suelo y los cultivos buscando una mayor sostenibilidad y eficiencia, en otras palabras, persigue la reducción de los costes económicos y ecológicos tradicionalmente asociados a la agricultura.

Por ejemplo en el caso de las malas hierbas varios autores constatan que la distribución de las infestaciones más perjudiciales para un determinado cultivo no es uniforme y afecta, por lo general, a menos del 40% del cultivo [1,2]. Debido a este hecho, la aplicación selectiva de herbicidas únicamente sobre las zonas infestadas puede suponer importantes reducciones en la cantidad de producto aplicado y aportar beneficios tanto económicos como ecológicos [3-5]. Es más, la eficacia es mayor si se realiza un tratamiento selectivo apropiado al tipo de infestación [6]. Uno de los criterios fundamentales en la selectividad de los herbicidas se apoya en las diferencias entre gramíneas y dicotiledóneas. Por este motivo, la determinación de los porcentajes de cobertura de ambos grupos es clave en el desarrollo de un sistema autónomo de tratamiento que permita ajustar el tipo de herbicida y la dosis a la infestación dominante.

Ahora bien para adecuar los tratamientos a las necesidades individuales de cada unidad de terreno es indispensable contar con información precisa del estado del cultivo a tratar: dónde hay mala hierba, el grado de cobertura o el tipo de infestaciones presentes. Tradicionalmente se han utilizado diferentes métodos tanto aéreos como terrestres para la obtención de información del cultivo. En el caso de las imágenes aéreas, tomadas con vuelos comerciales o satélites, la calidad y utilidad de la información recogida depende de las condiciones meteorológicas (ausencia de nubes o niebla) y, aunque la teledetección en agricultura ha experimentando un resurgimiento en los últimos años gracias al uso de cámaras híper y multi-espectrales [7], todavía el coste es alto y la resolución baja. Una interesante y reciente alternativa es la utilización de vehículos aéreos no tripulados (UAV) que permiten obtener información de mayor resolución a un coste relativamente bajo [8]. La principal desventaja de esta opción es la poca autonomía energética de los vehículos que en el mejor de los casos realizan vuelos de media hora. En cuanto a la recogida de información desde tierra, ésta permite una resolución inferior al centímetro con imágenes que cubren pequeñas zonas del cultivo. En este caso las fotografías suelen tomarse desde alturas inferiores a los tres metros, mediante cámaras montadas sobre tractores, robots agrícolas o simplemente utilizando un trípode [9-19].

La discriminación de malas hierbas ha sido tratada por varios autores [20-24]; en algunos de estos casos trabajando con imágenes con un solo tipo de infestación [23, 24] o con aproximaciones con alto coste computacional [21].

Este artículo presenta el proceso de ajuste de un método de visión por computador para la discriminación entre mono y dicotiledóneas, en concreto un método que combina una operación de segmentación basada en color (RGB) con un conjunto de operaciones morfológicas. El principal desafío en términos de análisis de imagen es lograr una discriminación correcta en imágenes tomadas en exterior con iluminación no controlada.

Material y métodos

Segmentación de las imágenes

Las imágenes empleadas en este trabajo recogen un espacio entre las líneas de cultivo de maíz de 50× 50 centímetros (figura 1a) y tienen una resolución original de 1.700 × 1.700 píxeles. Fueron tomadas con una cámara situada en un trípode, en distintos campos localizados en los alrededores de Madrid, en diferentes días y, por tanto, bajo condiciones de iluminación variables. La vegetación que aparece en las imágenes corresponde siempre a malas hierbas: monocotiledóneas, dicotiledóneas o ambos tipos. Para todas las imágenes recogidas se construyó manualmente una imagen patrón binaria en la que parecen en blanco solo los píxeles correspondientes a cubierta de dicotiledóneas. Estas imágenes patrón son las que permitirán ajustar y verificar el método propuesto.

Figura 1: (a) Imagen con mezcla de gramíneas (hoja fina y alargada) y dicotiledóneas (hoja ancha y más corta). (b) Segmentación de la cubierta vegetal de la imagen anterior.

El primer paso en el procesamiento de las imágenes es la obtención de la cubierta vegetal o segmentación de la capa vegetal, para lo cual hemos utilizado un método bastante extendido [25] con el que se obtiene una imagen binaria a partir de una combinación lineal de los planos RGB de la imagen, tal como se recoge en la expresión 1, y una posterior binarización aplicando un umbral cuyo valor se ajusta automáticamente a la intensidad media de los píxeles de la imagen construida con la expresión 1.

donde R(i, j), G(i, j) e B(i, j) son los valores de intensidad (de 0 a 255) de los planos rojo, verde y azul respectivamente para el píxel (i, j) y los coeficientes r, g y b son valores reales constantes que determinan la construcción de una imagen en escala de grises adecuada. Los valores de los coeficientes se han fijado como: r = -0,884, g = 1,262, y b = -0,311 siguiendo los resultados del estudio descrito en [26]. El resultado de la segmentación de la capa vegetal se puede comprobar en la figura 1b.

Operaciones morfológicas

Una operación morfológica consiste en la convolución de una imagen, tomada como matriz binaria, con un elemento estructural de forma y tamaño determinados que modifica la imagen de una manera u otra dependiendo de la operación aplicada. Por ejemplo una operación de erosión supondría la reducción de las áreas en blanco mientras que una operación de dilatación supondría un aumento de las mismas zonas [27].

Dos características definen una operación morfológica: el tipo de operación a realizar (erosión, dilatación, apertura y cierre) y el elemento estructural a utilizar junto con su centro. En la aproximación propuesta se ha optado por utilizar las operaciones de dilatación y erosión y una matriz como elemento estructural. Es importante señalar que las operaciones de apertura y cierre se construyen como combinación de operaciones de dilatación y erosión por lo que la elección de operaciones para el método es la más general posible.

Asimismo la aproximación propone la aplicación secuencial de un conjunto de operaciones morfológicas, y por tanto el orden y tipo de cada una serán también factores que introducirán aun más variabilidad y ampliarán el espacio de posibles soluciones. Incluso fijando el número máximo de operaciones a aplicar en el procesamiento de la imagen y el tamaño máximo del elemento estructural (matriz), es necesario un método de búsqueda que se adapte a un espacio muy grande de posibles soluciones, como es el caso de los algoritmos genéticos [28].

Ajuste del método mediante algoritmos genéticos

Los algoritmos genéticos son una herramienta computacional muy eficaz de optimización en situaciones en las que el espacio de posibles soluciones o espacio de búsqueda es grande, y tienen aplicaciones en múltiples campos de la ingeniería y la ciencia [28]. En el procesamiento morfológico de imágenes se han utilizado para optimizar filtros morfológicos suaves mediante la determinación de sus parámetros característicos en aplicaciones de restauración automática de vídeos antiguos [29] o para eliminar el ruido en imágenes [30].

En general un algoritmo genético es un método de exploración paralelo en el que se analiza más de una solución (población) en cada iteración. El método tiene cinco componentes básicos [31]. El algoritmo debe incluir un esquema de representación en el que codificar todas las soluciones del problema. Una función de evaluación (fitness) que permita ordenar las soluciones según lo buenas que sean en la resolución del problema. También es necesario definir los operadores genéticos (cruce y mutación) que permitan generar nuevas soluciones y con ello moverse a través del espacio de búsqueda (exploración). Y por último es necesario definir un conjunto de parámetros de ejecución así como desarrollar un método para generar las soluciones de partida o población inicial.

Codificación de las soluciones del problema: Esquema de representación

Una solución o individuo se codifica como una cadena binaria siguiendo el esquema que se muestra en la figura 2. Se han establecido un máximo de 8 operaciones morfológicas a aplicar sobre una determinada imagen. Para obtener soluciones con un número menor de operadores se incluye un bit que indica si el operador se aplica o no y se añade un segundo bit para indicar el tipo de operación a realizar (0: erosión, 1: dilatación).

Figura 2: Representación esquemática de la codificación empleada para los individuos en el algoritmo genético propuesto.

Asimismo cada operación morfológica lleva asociado un elemento estructural. Con el fin de alcanzar variabilidad en este elemento facilitando a la vez la codificación, se ha limitado el tamaño máximo de los elementos a una matriz 6×6 compuesta por ceros y unos, lo que permite fijar la longitud máxima de los individuos (304 bits) así como generar elementos estructurales de menor dimensión. Esta matriz se puede escribir como un vector binario de 36 elementos.

Función de fitness

Como ya se ha comentado en apartados anteriores, para cada una de las imágenes utilizadas en el presente estudio se construyó una imagen patrón o imagen binaria en la que solo aparecen en blanco los pixeles de las dicotiledóneas. El objetivo es que la aplicación de los operadores codificados en el individuo sobre la imagen binaria en la que está segmentada la capa vegetal (figura 1b) dé cómo resultado una imagen igual que la imagen patrón, por lo que cuanto más se parezca la imagen resultante a la imagen patrón mejor será la fitness del individuo. Esta similitud se define en la expresión 2.

Para obtener un resultado general, válido para todas las imágenes del tipo que se muestra en la figura 1, fue necesario realizar un entrenamiento del algoritmo con una colección representativa de las diferentes situaciones que se pueden encontrar en aplicaciones reales. En consecuencia, la función de aptitud o fitness se definió como la media aritmética de las diferentes similitudes de modo que recogiese el comportamiento de la mejor solución en media para todas las imágenes consideradas.

Configuración del resto de componentes del algoritmo genético

El tamaño de la población o número de soluciones que se evalúan simultáneamente en cada iteración, se fijó en 100 individuos, cada uno con una longitud de 304 bits. La población inicial se generó de forma aleatoria.

Como método de selección se utilizó la ruleta. Para recombinar dos individuos se empleó un operador de cruce en dos puntos. La fracción de individuos de la población generados mediante cruce se fijó en 0,8 (80%). El operador de mutación se implementó de modo que generaba para cada individuo o solución un vector de probabilidades formado por números reales aleatorios en el intervalo [0,1]. El número de componentes del vector era igual al número de bits del individuo, es decir 304. A partir de este vector, en el individuo se invertían los valores de los bits cuya componente asociada en el vector de probabilidades presentaba un valor menor que la probabilidad de mutación fijada. La probabilidad de mutación se fijó en 0,2 (20%).

Por último, se incluyó una operación adicional de elitismo para asegurar la convergencia. Con este operador el mejor individuo de la población de partida siempre sustituía al peor individuo de la nueva generación.

Resultados

Para la etapa de ajuste del método se tomaron 4 fotos seleccionadas aleatoriamente de la colección de fotografías recogidas en el campo. Las diferentes ejecuciones realizadas convergieron a un resultado satisfactorio alrededor de las 5.000 generaciones. El valor de aptitud más bajo obtenido fue de 0,0234, que se corresponde con una diferencia entre la imagen original y patrón de aproximadamente 17.000 píxeles en una imagen de 722.500 píxeles, es decir un 2,34%. La figura 3 recoge la batería de operaciones morfológicas obtenida con el algoritmo genético.

Figura 3: Batería de operaciones morfológicas hallada por el algoritmo genético como mejor solución al problema de eliminar las monocotiledóneas en las imágenes de entrenamiento.

La solución hallada por el algoritmo genético emplea únicamente seis operaciones, tres erosiones y tres dilataciones, con elementos estructurales variables.

En la tabla 1 se muestran los resultados obtenidos de la aplicación del método ajustado con el algoritmo genético sobre varias imágenes de la colección de partida y que no coinciden con las imágenes utilizadas en el entrenamiento. Para calcular los porcentajes de gramíneas (que han sido eliminadas por el procesado) se resta la imagen procesada (sólo dicotiledóneas) de la imagen original, obteniendo una imagen que contiene únicamente monocotiledóneas.

En la tabla vemos que los porcentajes estimados y reales son bastante similares, existiendo diferencias del 0,3% al 2,5%. Como el objetivo final de este trabajo es determinar si una especie es más abundante que otra para elegir el herbicida adecuado o aplicar ambos tratamientos si no hay una diferencia notable, podemos concluir, con los resultados obtenidos, que el método de procesamiento ajustado con el algoritmo genético consigue de forma bastante satisfactoria que la infestación dominante en la imagen original también sea dominante después del procesamiento de la imagen. Hay una excepción, en los resultados para la imagen 5, donde los porcentajes calculados podrían hacer pensar que la infestación dominante es la de monocotiledóneas (6,44%) frente a las dicotiledóneas (2,99%) cuando los valores reales dicen todo lo contario (5,09 % de dicotiledóneas frente a 4,35% de gramíneas). Este comportamiento viene provocado porque los porcentajes de ambos tipos son muy parecidos y, además, las dicotiledóneas no son mucho más anchas que las gramíneas, razón por la que parte de las mismas son eliminadas con las tres operaciones de erosión previas al proceso de dilatación.

Tabla 1: Similitud (ecuación 2) entre imágenes procesadas y patrón, porcentajes reales y estimados con la aproximación propuesta, para la cobertura de cada tipo de mala hierba (mono y dicotiledóneas).

Por último, en la figura 4 se muestran los resultados de la batería de operadores morfológicos obtenidos para tres imágenes con porcentajes muy diferentes de mono y dicotiledóneas.

Conclusiones

La automatización de tareas es un paso fundamental en Agricultura de Precisión. La discriminación de tipos de malas hierbas y el cálculo de sus porcentajes de cobertura pueden permitir una aplicación más selectiva de herbicidas con gran potencial de ahorro en los costes económicos y ecológicos.

La aproximación propuesta en este trabajo se basa en operaciones morfológicas combinada con una operación de segmentación previa que permite aislar la capa vegetal. Debido a las vastas posibilidades de configuración de una batería de estas operaciones morfológicas para implementar adecuadamente la discriminación, se ha recurrido a un algoritmo genético como método de ajuste.

El sistema empleado ha demostrado ser eficaz y sencillo, estando basado en operaciones morfológicas muy comunes en el procesamiento de imagen. Los porcentajes reales de mala hierba calculados manualmente a partir de las imágenes (patrón) y los obtenidos con el método propuesto y optimizado mediante la estrategia evolutiva son muy parecidos. De hecho, en el mejor de los casos se estima de forma correcta el 89 % de la cobertura de gramíneas.

Figura 4. Comparación de resultados del proceso completo de operaciones morfológicas para tres imágenes distintas. Se muestran las imágenes de partida (originales), los objetivos (patrón) y los resultados de aplicar el individuo codificado en la solución (procesada).

En definitiva el método diseñado ha demostrado ser eficaz y estar basado en un principio válido para discernir entre dos tipos de mala hierba, similar al método que emplea el ojo humano (distinción de tamaños y formas).

En el marco de un proyecto más amplio en agricultura de precisión, en concreto en el desarrollo de un sistema autónomo de reconocimiento y tratamiento de campos de cultivo, la aproximación propuesta es un paso importante para implementar una aplicación selectiva de herbicidas aunque es necesario ampliar el número de imágenes contenidas en la colección de entrenamiento, así como estudiar los tiempos asociados al empleo de los elementos estructurales (erosión y dilatación) para lograr un método aplicable de un modo efectivo en situaciones reales.

Agradecimientos

Este trabajo está financiado por Ministerio de Economía y Competitividad y la Unión Europea a través de los proyectos PLAN NACIONAL - AGL2011-30442-C02–02 (GroW) y NMP-CP-IP-245986-2 (RHEA).

Este trabajo fue presentado en el 9°Congreso Europeo de Agricultura de Precisión, celebrado en Lleida del 7 al 11 de julio de 2013.

Referencias bibliográficas

1. Marshall, E.J.P. Field-scale estimates of grass weed populations in arable land, Weed Research, 28 (3), 191-198 (1988)

2. Johnson, G.A.; Mortensen, D.A.; Martin, A.R. A simulation of herbicide use based on weed spatial distribution. Weed Research, 35 (3). 1995. pp. 197-205.

3. Tian, L.; Reid, J.F.; Hummel, J.W. Development of a precision sprayer for site-specific weed management. Transaction of the American Society of Agricultural Engineers, 42, 893-900 (1999)

4. Medlin C.R.; Shaw, D.R. Economic comparison of broadcast and site-specific herbicide applications in nontransgenic and glyphosate-tolerant Glycine max. Weed Science 48 (5), 653-661 (2000)

5. Timmermann, C.; Gerhards, R.; Kühbauch, W. The economic impact of site-specific weed control. Precision Agriculture, 4 (3), 249-260 (2003)

6. Tang, L.; Tian, L.; Steward, B.L. Classification of broadleaf and grass weeds using Gabor wavelets and an Artificial Neural Network. Transactions of the ASABE, 46 (4), 1247-1254 (2003)

7. López Granados, F.; Jurado-Expósito, M.; Atenciano, S.; García-Ferrer, A.; Sánchez de la Orden, M.; García-Torres, L. Spatial variability of agricultural soils in southern Spain, Plant and Soil 246, 97–105, (2002)

8. López Granados, F. Discriminación de malas hierbas en cultivos de las imágenes de satélite a los vehículos aéreos no tripulados. Tierras de Castilla y León: Agricultura, 192, pp. 28-35 (2012).

9. Ribeiro, A.; Fernández-Quintanilla, C.; Barroso, J.; García-Alegre, M.C. Development of an image analysis system for estimation of weed cover and weed pressure. Proceeding 5th European Conf. On Precision Agriculture (5th ECPA), 1, 169-174 ISBN: 90-76998-69-8, (2005)

10. Pajares, G.; Tellaeche, A.; BurgosArtizzu, X.; Ribeiro, A. Design of a computer vision system for a differential spraying operation in precision agriculture through Hebbian learning. IET Computer Vision 1 (3-4), pp. 93-99, (2007)

11. Ribeiro, A.; Burgos-Artizzu, X.P.; Pajares, G.; Tellaeche, A.; Fernandez-Quintanilla, C. Procesamiento de imagen para estimar la cantidad de malas hierbas gramíneas en cultivos de cereal de invierno. Actas del XI Congreso de la Sociedad Española de Malherbología “La malherbología en los nuevos sistemas de producción agraria” (XI SEMh), 1, 291-294; ISBN:978-84-87787-24-9, (2007)

12. Tellaeche, A.; Burgos-Artizzu, X.P.; Pajares, G.; Ribeiro, A. A vision-based method for weeds identification through the Bayesian decision theory. Pattern Recognition 41 (2), pp. 521-530, (2008)

13. Tellaeche, A.; Burgos-Artizzu, X.P.; Pajares, G.; Ribeiro, A. Fernández-Quintanilla, C. A new vision-based decision making approach for a differential spraying operation in Precision Agriculture. Computers and Electronics in Agriculture 60 (2), 144-155, (2008)

14. Burgos-Artizzu, X.P.; Ribeiro, A.; Tellaeche, A.; Pajares, G.; Fernández-Quintanilla, C. Improving weed pressure pssessment using digital images from an experience-based reasoning approach. Computers and Electronics in Agriculture 65 (2), 176-185, (2009)

15. Pajares, G.; Guijarro, M.; Ribeiro, A. A Hopfield Neural Network for combining classifiers applied to textured images. Neural Networks 23 (1), 144–153, (2010)

16. Burgos-Artizzu, X.P.; Ribeiro, A.; Tellaeche, A.; Pajares, G.; Fernandez-Quintanilla, C. Analysis of natural images processing for the extraction of agricultural elements. Image and Vision Computing 28 (1), 138–149 (2010)

17. Burgos-Artizzu, X.P.; Ribeiro, A., Guijarro, M.; Pajares, G. Real-time image processing for crop/weed discrimination in maize fields. Computers and Electronics in Agriculture 75 (2), 337-346 (2011)

18. Guijarro, M.; Pajares, G.; Riomoros, I.; Herrera, P.J.; Burgos-Artizzu, X.P.; Ribeiro, A. Automatic segmentation of relevant textures in agricultural images. Computers and Electronics in Agriculture 75 (1), 75-83 (2011)

19. Tellaeche, A.; Burgos-Artizzu, X.P.; Pajares, G.; Ribeiro, A. A computer vision approach for weeds identification through Support Vector Machines. Applied Soft Computing 11 (1), 908-915 (2011)

20. Lee, W.S.; Slaughter, D.C.; Giles, D.K. Robotic weed control system for tomatoes. Precision Agriculture 1 (1), 95-113 (1999)

21. Meyer, G.E.; Mehta, T.; Kocher, M.F.; Mortensen, D.A.; Samal, A. Textural imaging and discriminant analysis for distinguishing weeds for spot spraying. Transactions of the ASABE. 41 (4), 1189-1197 (1998)

22. Tian, L.; Reid, J.F.; Hummel, J.W. Development of a precision sprayer for site-specific weed management. Transactions of the American Society of Agricultural Engineers, 42, 893-900 (1999)

23. Ishak, A.J.; Hussain, A.; Mustafa, M.M. Weed image classification using Gabor wavelet and gradient field distribution. Computers and Electronics in Agriculture, 66, 53-61 (2009)

24. Hemming, J.; Rath, T. Precision agriculture: computer-vision-based weed identification under field conditions using controlled lighting. Journal of Agricultural Engineering Research 78 (3), 233-243 (2001)

25. Woebbecke, D.; Meyer, G.; Vonbargen, K.; Mortensen, D. Colour indices for weed identification under various soil, residue and lighting conditions. Transactions of the American Society of Agricultural Engineers, 38 (1), 271-281 (1995)

26. Burgos-Artizzu, X.P.; Ribeiro, A.; Tellaeche, A.; Pajares, G.; Fernández-Quintanilla, C. Analysis of natural images processing for the extraction of agricultural elements. Image and Vision Computing, 28, 138-149 (2010)

27. Haralick, R.M.; Sternberg, S.R.; Zhuang, X. Image analysis using mathematical morphology. IEEE Transactions on Pattern Analysis and Machine Intelligence, 9 (4), 532-550 (1987)

28. Goldberg, D.E. Genetic Algorithms in Search, Optimization and Machine Learning, Kluwer Academic Publishers, Boston, MA, (1989)

29. Hamid, M.S.; Harvey, N.R.; Marshall, S. Genetic algorithm optimization of multidimensional grayscale soft morphological filters with applications in film archive restoration. IEEE Transactions on Circuits and Systems for Video Technology, 13 (5), 406-416 (2003)

30. Harvey, N.R.; Marshall, S. The use of genetic algorithms in morphological filter design. Signal Processing: Image Communication, 8 (1), 55-71 (1996)

31. Rawlins, G.J.E. Foundations of Genetic Algorithms. Morgan Kaufman Publishers. (1991)