Cuando se desarrolla un sistema de analítica de vídeo se necesita llegar a un punto óptimo en el que las detecciones reales se maximicen frente a las posibles no detecciones

A la hora de evaluar un sistema de analítica de vídeo, se deben establecer las condiciones de funcionamiento y el entorno de pruebas, ya que, de lo contrario, se puede llegar a una conclusión sesgada. Los sistemas de procesado de video se utilizan en multitud de entornos y con diversos objetivos. Sin embargo, se puede tener un sistema que funciona muy bien detectando intrusos en un entorno exterior árido que no sea el más adecuado para un entorno interior o uno exterior con mucha vegetación. Sucede lo mismo con la distancia de detección, los resultados obtenidos en corta distancia son muy diferentes a los obtenidos en larga distancia. Uno de los principales retos de cualquier fabricante de sistemas de procesado de video es conseguir una solución robusta que pueda utilizarse en diferentes entornos, de forma que pueda adaptarse mediante una configuración sencilla a la problemática existente. En cierta forma se podría comparar con los neumáticos de carreras, cuanto más conocimiento se tiene del entorno, mejores resultados se obtienen con unos neumáticos especializados. Cuando se desconoce el tipo de terreno puede convenir una solución intermedia que ofrezca resultados correctos en cualquier entorno.

Cuando se desarrolla un sistema de analítica de vídeo se necesita llegar a un punto óptimo en el que las detecciones reales se maximicen frente a las posibles no detecciones, teniendo un número de falsas alarmas bajo o casi nulo. Ningún sistema de analítica de vídeo va a estar libre de errores, si lo que prima en una instalación es la detección de todas las intrusiones, es probable que se tenga un número elevado de falsas alarmas, mientras que, si se minimizan las falsas alarmas, habrá muchas detecciones reales que no se detecten, volviendo la instalación inútil e insegura.

Una métrica sencilla es el número de falsas alarmas por cámara. Confiar sólo en esta métrica tiene el mismo riesgo que comparar dos préstamos bancarios sólo por el tipo de interés que nos ofrecen, también hace falta conocer el principal del préstamo y el período de amortización. Una de las métricas más utilizadas para comparar sistemas de detección que combina la tasa de falsas alarmas (FA), la tasa de no detección (ND) y el número de detecciones (N) es F-Score. Esta métrica combina la precisión del sistema a la hora de detectar alarmas reales, frente al número de falsas alarmas generadas.

Para poder comparar sistemas de procesado de video es recomendable disponer de una grabación que incluya decenas de elementos detectables en el mayor número de escenarios posible, prestando especial atención a aquellos entornos problemáticos como fondos dinámicos, largas distancias, zonas con sombras o con posible efecto de camuflaje.

Dicha grabación se conecta al sistema de análisis de video simulando ser una cámara real. De esta forma podemos comparar sistemas utilizando exactamente el mismo banco de pruebas y por tanto obteniendo resultados representativos. Es interesante analizar la grabación varias veces seguidas ya que en ocasiones la descompresión del video puede producir pequeños efectos que en detecciones de elementos pequeños pueden tener cierta influencia.

Es recomendable que al menos en una ocasión la configuración del equipo de análisis la haga el propio fabricante de forma que se evite un posible sesgo debido al nivel de experiencia en el uso del equipo. Para evaluar la facilidad de configuración de cada equipo se debería realizar otro tipo de pruebas.