Para mejorar la precisión de la detección de las malas hierbas se utilizan arquitecturas de Redes Neuronales Convolucionales o, en inglés, Convolutional Neural Networks (CNNs)

El presente trabajo se basa en la aplicación de técnicas de inteligencia artificial en agricultura, en concreto de 'Deep Learning', y la aplicación que explicamos con detalle es la detección automática de malas hierbas en cultivos de maíz dulce.

Las malas hierbas son plantas no deseadas e invasivas de crecimiento rápido que compiten con los cultivos por recursos vitales como agua, nutrientes, espacio y luz. Las malas hierbas tienen un impacto significativo tanto en la producción como en la calidad del cultivo. Se estima que el rendimiento potencial de los cultivos a nivel mundial podría reducirse hasta un 43% en ausencia de un control efectivo de las malas hierbas, por lo que realizar una gestión integrada de las malas hierbas se convierte en un componente esencial en la planificación de los cultivos.

Actualmente, el método de control mas utilizado es la aplicación de herbicidas de principio químico, seguido del control mecánico utilizado en menor medida. También se realiza de manera manual siendo un método económicamente costoso. Los herbicidas se aplican en diferentes etapas, principalmente antes de la siembra y durante el crecimiento del cultivo. Estas aplicaciones generalmente se hacen a través de una pulverización homogénea del herbicida, es decir, se aplica en toda el área cultivada.

Sin embargo, las malas hierbas no suelen emerger de manera uniforme en el campo, lo que indica que una aplicación uniforme sobre toda el área del cultivo no es adecuada. La aplicación de herbicidas a través de pulverización genera problemas medioambientales, aunque existan políticas de la UE que controlen y regulen la aplicación de éstos, no dejan de presentarse inconvenientes para la salud de las personas que trabajan en estas labores, además de la resistencia generada a los herbicidas químicos causada por el uso intensivo durante décadas.

Los sistemas actuales de escarda integran diferentes tecnologías, por ejemplo, utilizan sistemas de posicionamiento global (GPS), sensores ópticos y algoritmos computacionales que integrados en un solo conjunto permiten realizar una escarda de precisión, aplicando herbicidas de forma variable, entregando una cantidad especifica en el lugar exacto donde se encuentra la maleza, además de crear mapas detallados de la variabilidad del campo.

Desde hace algunos años se encuentran comercialmente desarrollos que utilizan métodos de aplicación de herbicidas de tasa variable, como 'Blue River Technology' de John Deere, 'WeedSeeker' de Trimble o Bosch 'Smart Agriculture', entre otros. Estos desarrollos usan algoritmos basados en visión artificial e inteligencia artificial (IA) para reconocer las malas hierbas en campo en tiempo real. Una técnica reciente de escarda de precisión es la eliminación de las malas hierbas mediante Láser. La empresa Carbon Robotics ha desarrollado el sistema 'LaserWeeding', el cual emplea IA para identificar las malas hierbas y las elimina utilizando un Láser de alta potencia, quemándolas en tiempo real.

Este desarrollo es altamente eficiente en la identificación de las malas hierbas, además de reducir significativamente los impactos ambientales. Por lo tanto, los investigadores del sector agrícola se enfocan en adoptar y mejorar las diferentes tecnologías que integran la escarda de precisión, con el fin de aumentar la eficiencia de las aplicaciones. Por ejemplo, para mejorar la precisión de la detección de las malas hierbas se utilizan arquitecturas de Redes Neuronales Convolucionales o, en inglés, Convolutional Neural Networks (CNNs). Estas son una aplicación destacada del Deep Learning, una rama de la IA que busca imitar la capacidad del cerebro humano para aprender y procesar datos, especialmente en tareas relacionadas con el procesamiento de imágenes y reconocimiento visual.

La aplicación de las CNNs para la identificación de malas hierbas se ha incrementado en los últimos años. Los investigadores aplican distintas CNNs, entre las cuales encontramos a YOLO (You Only Look Once), VGG (Visual Geometry Group), ResNet (Redes Residuales), GoogLeNet (Inception) y MobileNet, entre otras. Estas CNNs destacan por su eficiencia para identificar de manera rápida y precisa la presencia de malas hierbas en diferentes cultivos. Su capacidad para procesar imágenes en tiempo real, clasificar objetos y extraer características relevantes a diferentes escalas es fundamental para el éxito de los sistemas de escarda de precisión, por lo que se emplean frecuentemente.

La implementación de las CNN implica una serie de etapas. En primer lugar, se lleva a cabo la preparación de los datos, que incluye la adquisición y etiquetado de imágenes. En segundo lugar, se procede con la selección y configuración de la CNN, lo que implica ajustar los hiperparámetros del modelo. En tercer lugar, se realiza el entrenamiento de la CNN, que generalmente se realiza utilizando unidades gráficas de procesamiento (GPU). Posteriormente, en la cuarta fase, se evalúa el rendimiento del modelo utilizando métricas estándar como la precisión media (mAP) y la matriz de confusión. Finalmente, como quinto paso, el modelo entrenado se despliega en aplicaciones del mundo real para su utilización práctica.

A continuación, se ilustra un ejemplo de detección de cuatro tipos de malas hierbas: Lolium perenne, Sonchus oleraceus, Saolanun nigrum y Poa annua en el cultivo de maíz dulce (Zea mays L.), desarrollado por el Grupo de Investigación Reconocido-Tecnologías Avanzadas Aplicadas al Desarrollo Rural Sostenible (TADRUS), de la Escuela Técnica Superior de Ingenierías Agrarias de Palencia de la Universidad de Valladolid.

Para la adquisición de las imágenes se construyó una estructura móvil en aluminio, sobre una cama elevada del invernadero automático del campus de La Yutera (Palencia). La estructura permite el movimiento controlado en toda la cama, lo que permite una mejor captura de las imágenes para el entrenamiento de la CNN. La estructura soporta el sistema de visión y el sistema de iluminación, Figura 1. El sistema de visión se compone de una cámara réflex Canon 850D con filtro polarizador circular PL-C 58mm. El sistema de iluminación se construyó con dos lámparas de luz blanca tipo LED de 6000 K, con filtro polarizador de transmisión: 38 % (1,5 f/stop) para evitar los brillos sobre las hojas de las plantas.

Figura 1. Estructura móvil de adquisición de imágenes.

Las imágenes se tomaron en espacio de color RGB con resolución de 6000x4000 píxeles por 35 días, distribuidos desde el momento de la emergencia de la planta (día 12) hasta el final de la etapa fenológica del desarrollo vegetativo (día 60) obteniendo un total de 1640 imágenes. Antes de proceder con el etiquetado de las imágenes, se realizó una selección previa de las más adecuadas para el entrenamiento. Se descartaron aquellas imágenes que presentaban desenfoque o en las cuales las plantas eran tan grandes que salían fuera de la escena. Como resultado de este proceso de selección, se eliminaron un total de 240 imágenes, dejando un conjunto final de 1400 imágenes.

Para llevar a cabo el etiquetado de las imágenes, se empleó la herramienta de código abierto LabelImg. Se definieron 5 clases de etiquetas, abreviando los nombres de las especies para facilitar su gestión: “maíz“ para las plantas de maíz, ”mh1“ para Lolium perenne, ”mh2“ para Sonchus oleraceus, ”mh3“ para Saolanun nigrum y ”mh4” para Poa annua. En total, se generaron 4200 etiquetas de cuadros delimitadores para el maíz y 10322 etiquetas para las malas hierbas. Para el proceso de entrenamiento, se dividió aleatoriamente el conjunto de 1400 imágenes en tres partes: el 70% (980 imágenes) para el entrenamiento, el 25% (350 imágenes) para la validación y el 5% (110 imágenes) para el conjunto de pruebas.

Se utilizó la arquitectura CNN Yolov5s v7.0 desarrollado por Ultralytics. Es un algoritmo de detección de objetos en imágenes en tiempo real de código abierto, que destaca por su velocidad y eficiencia al realizar la detección y clasificación en una sola pasada a través de la red neuronal. Los hiperparámetros configurados para el entrenamiento de la CNN fueron los siguientes: se utilizaron 300 épocas (epochs) para el entrenamiento, este valor fue seleccionado en base a entrenamientos previos. El tamaño del lote (batch_size) se estableció en 32, siendo un valor que permite reducir el sobreajuste del modelo en las etapas iniciales.

En cuanto al tamaño de la imagen, los modelos Yolov5 reducen uniformemente las imágenes de entrada a 640x640 píxeles. La tasa de aprendizaje inicial (lr0) y final (lrf) se establecieron en 0.01, el parámetro weight decay en 0.0005 y el Momentum en 0.937; los demás hiperparámetros utilizados han sido los definidos por el modelo por defecto.

Tabla 1. Configuración utilizada para el entrenamiento del modelo.

Como primera métrica de evaluación se analiza la matriz de confusión, Figura 2, la cual muestra el número de predicciones correctas e incorrectas para cada clase en comparación con las etiquetas verdaderas. En la Figura 2 observamos que la CNN Yolov5s v7.0 obtuvo un rendimiento excepcional en la detección y clasificación tanto del maíz como de las malas hierbas, logrando una predicción para el maíz del 97%, para las malas hierbas específicamente se obtuvo un 90% para la mh2 (Sonchus Oleraceus), para la mh1 (Lolium Perenne) un 86%, la mh3 (Saolanun Nigrum) un 78% y la mh4 (Poa Annua) un 74%.

Es relevante destacar que la CNN Yolov5s v7.0 presenta confusiones entre las malas hierbas, especialmente entre la mh2 (Sonchus Oleraceus) y la mh3 (Saolanun Nigrum), en un 11%, debido a que, en las primeras etapas de desarrollo de las malas hierbas, las hojas de estas especies suelen tener formas similares de hojas anchas; igualmente sucede entre la mh1 (Lolium Perenne) y la mh4 (Poa Annua), donde se suele confundir en un 7%, aunque en este caso sus hojas son estrechas.

Como segunda métrica de evaluación se calcula la mAP (mean Average Precision) que es una medida general del rendimiento del modelo al considerar la precisión de sus predicciones para múltiples clases de objetos. Cuanto mayor sea el valor de mAP, mejor será el rendimiento del modelo. En nuestro caso tenemos cinco clases, cuatro malas hierbas y un cultivo. La clase maíz tiene el valor más alto de 0.975 mAP (97.5%), por lo cual, su poder de predicción es mayor que las demás clases. Para las clases de malas hierbas se obtuvieron los siguientes valores de mAP: “mh1“ Lolium perenne 0.851 (85.1%), ”mh2“ Sonchus oleraceus 0.902 (90.2%), ”mh3“ Saolanun nigrum 0.766 (76.6%) y ”mh4” Poa annua 0.720 (72.0%). Para el modelo en general se calcula la media de los mAP de las 5 clases obteniendo un valor de 0.836 (83.6%).

Aunque el valor mAP general del modelo (83.6%) sea menor que el de la clase maíz (97.5%), no significa que la CNN sea ineficiente, ya que, si se busca discriminar el maíz de las malas hierbas sin interesar la especie, el modelo es totalmente adecuado para implementar en un sistema de escarda de precisión como los anteriormente mencionados.

Para el despliegue de la CNN se tomaron imágenes adicionales en diferentes etapas de desarrollo del cultivo (15, 30 y 45 días después de la siembra), se pasaron por el modelo y se compararon con las mismas sin etiquetar para visualizar la clasificación que realiza la CNN. En las Figuras 3, 4 y 5, los valores de los cuadros delimitadores corresponden a las clases, 0: maíz, en color azul, 1: mh1 (Lolium Perenne) en color verde, 2: mh2 (Sonchus Oleraceus) en color rojo, 3: mh3 (Saolanun Nigrum) en color cyan, 4: mh4 (Poa Annua) en color amarillo. En las Figuras 3 (a) y (b) se observa el cultivo a 15 días después de la siembra, la CNN identifica y clasifica correctamente todas plantas de la imagen.

Figura 3. (a) Imagen sin procesar del cultivo a 15 días después de la siembra. (b) Imagen procesada del cultivo a 15 días después de la siembra.

En las Figuras 4 (a) y (b) se observa el cultivo a 30 días de la siembra. La CNN identifica las plantas de maíz correctamente, aunque dentro de un cuadro que delimita la tercera planta de maíz se esconde una mh4 (4-amarillo), esto se debe principalmente a que durante el entrenamiento de la CNN no se presentaron casos similares, una planta detrás de otra, esta situación se podría corregir aumentando la cantidad de imágenes de entrenamiento con este comportamiento.

En cuanto a las malas hierbas, la clase mh1 (1-verde) de las 2 plantas presentes el modelo identificó 3, es decir, clasificó una más presentando un caso de falso positivo, identificándola como mh4 (4-amarillo), debido a la similitud entre las hojas (estrechas) de las dos clases hace que puedan ser clasificadas equivocadamente. Para la clase mh4 (4-amarillo), de las 4 plantas presentes 2 se clasificaron correctamente, la tercera fue clasificada correctamente pero también el sistema la clasificó como mh1 (1-verde), corroborando lo mencionado anteriormente. El sistema suele clasificar las malas hierbas de la misma forma como pertenecientes a las dos clases. La cuarta planta mh4 (4-amarillo) no la identificó el modelo, no siendo clasificada, esta fue identificada en el cuadro delimitador del tercer maíz. En las mh2 (2-rojo) el sistema encontró 4 de las 3, clasificando una más, teniendo nuevamente un falso positivo, ocurriendo algo similar a las dos clases anteriores, la forma de la hoja en este caso ancha, el sistema puede clasificarla en las dos categorías. En cuanto a la mh3 (3-cyan) de las 2 presentes el sistema las clasificó correctamente, solo una fue clasificada dos veces.

En las Figuras 5 (a) y (b), se observa el cultivo a 45 días después de la siembra donde se aprecian las plantas de maíz clasificadas correctamente. Las nuevas malas hierbas emergentes de la segunda siembra se clasificaron correctamente.

Como conclusión general de este estudio, la CNN YOLOv5s es una alternativa como método de identificación de malas hierbas en el cultivo de maíz, el cual podría ser integrado en cualquier sistema de escarda de precisión. Sin embargo, es necesario seguir alimentando el modelo con imágenes de nuevas campañas y enriquecer el conjunto de imágenes de entrenamiento con todas las posibles variaciones lumínicas, y condiciones de campo, para que en el momento de la implantación se obtenga una mayor precisión.

Aunque el mAP general del modelo tenga un 83.6%, esto no indica que la CNN sea ineficiente, por el contrario, si el objetivo es identificar y proteger el maíz, eliminando cualquier planta que no sea maíz, el modelo resulta altamente eficiente con un 97.5%. En este caso, el sistema de escarda de precisión eliminaría todas las malas hierbas, independientemente de su especie, preservando únicamente las plantas de maíz.

Referencias bibliográficas

• García-Navarrete, O.L.; Santamaria, O.; Martín-Ramos, P.; Valenzuela-Mahecha, M.Á.; Navas-Gracia, L.M. Development of a Detection System for Types of Weeds in Maize (Zea mays L.) under Greenhouse Conditions Using the YOLOv5 v7.0 Model. Agriculture 2024, 14, 286. https://doi.org/10.3390/agriculture14020286

• Wang, B.; Yan, Y.; Lan, Y.; Wang, M.; Bian, Z. Accurate Detection and Precision Spraying of Corn and Weeds Using the Improved YOLOv5 Model. IEEE Access 2023, 11, 29868–29882, doi:10.1109/ACCESS.2023.3258439.

• Zhu, H.; Zhang, Y.; Mu, D.; Bai, L.; Zhuang, H.; Li, H. YOLOX-Based Blue Laser Weeding Robot in Corn Field. Front. Plant Sci. 2022, 13, doi:10.3389/fpls.2022.1017803.

• Mota-Delfin, C.; López-Canteñs, G. de J.; López-Cruz, I.L.; Romantchik-Kriuchkova, E.; Olguín-Rojas, J.C. Detection and Counting of Corn Plants in the Presence of Weeds with Convolutional Neural Networks. Remote Sens. 2022, 14, 4892, doi:10.3390/rs14194892.

• Gallo, I.; Rehman, A.U.; Dehkordi, R.H.; Landro, N.; Grassa, R.L.; Boschetti, M. Deep Object Detection of Crop Weeds: Performance of YOLOv7 on a Real Case Dataset from UAV Images. Remote Sens. 2023, 15, 539, doi:10.3390/rs15020539.