SG36

VIDEOVIGILANCIA Y CCTV procedimientos IA. El primer paso es la definición específica por parte de la aplicación y del cliente de qué significa ‘falso’ y qué ‘correcto’, especialmente en casos límites: por ejemplo, en un sis- tema de reconocimiento de personas, ¿hay que valorar una detección como correcta si en la imagen o vídeo no se ve una persona real sino sólo un cartel publicitario con una persona? Este y otros parámetros han de ser estable- cidos. Una vez exista esta definición, se necesita un conjunto de datos en que se conozcan los resultados correctos esperables. La IA analizará ahora este conjunto de datos y determinará así la proporción de detecciones correctas y falsas. Las matemáticas proporcionan aquí al usuario diferentesmétricas, tales como la sensibilidad (proporción de las detecciones esperadas que realmente han sido detectadas) o la precisión de acierto (proporción de las detecciones que realmente son correctas). Demodo que, la 'calidad' de la IA, al fin y al cabo, siempre es una declaración estadística sobre el conjunto de datos de evalua- ción que se ha usado. ¿VERANO O INVIERNO? Cómo de útil es realmente esta declara- ciónpara el usuarioo clientepotencial de un sistema depende de la distribución del conjunto de datos. Una evaluación puede certificar unbuen rendimientode detección. Pero si el conjunto de datos se basa exclusivamente en imágenes demeses de verano, esta evaluación no tiene ningún valor informativo sobre la calidad de la IA en invierno ya que las condiciones lumínicas ymeteorológicas pueden diferir considerablemente. En consecuencia, en general: las declara- ciones sobre la calidad de un análisis IA –particularmente, aquellos con núme- ros concretos como “99.9%”–, hay que tomarlas con cautela cuando no se conocen todos los parámetros. Sin conocimiento del conjunto de datos utilizado, de la métrica aplicada y de otros parámetros, no es posible una afirmación inequívoca sobre el grado de representatividad del resultado. NO PUEDE HABER INDICACIONES EXACTAS Cada sistema tiene sus límites, incluso, naturalmente, los sistemas IA. Por tanto, conocer los límites es el requisito básico para tomar decisiones fundadas. Pero también aquí, se cruzan estadística y rea- lidad, como se puede ver en el siguiente ejemplo: una IA reconoce peor, lógi- camente, objetos en la imagen/vídeo cuanto más pequeños son. La primera pregunta, que se plantea a un usuario antes de la compra de un sistema, es la distanciamáximahasta laque los objetos pueden ser detectados, ya que influye en el número de cámaras necesarias y, por tanto, en los costes del sistema entero. Pero indicar una distancia exacta no es posible. Simplemente, no existe ningún valor hasta el cual el análisis pro- porcione resultados 100% correctos y otro valor desde el cual una detección no es posible. Una evaluación aquí sólo es capaz de facilitar estadísticas como, por ejemplo, la precisión de la detec- ción en función del tamaño del objeto. MEJOR COMPARAR DIRECTAMENTE En relación a los límites del sistema se ha optado por describir, en la medida de lo posible, los límites del sistema con valores mínimos o máximos concre- tos: por ejemplo, en las hojas de datos de productos. Entre aquellos estarían la distancia mínima o una resolución mínima. Esto es razonable, ya que los clientes o instaladores necesitan pun- tos de referencia para poder evaluar el sistema. Sin embargo, evidentemente, queda aúnmucha incertidumbre, p.ej . si estos valores límites los indica el fabri- cante de formamás bien conservadora u optimista. El usuario hará bien en tener siempre presente que en el análisis de vídeo pueden no existir límites claros y definidos. Con cada sistema será así: también dentro de determinados pará- metros se producirán errores y, al mismo tiempo, bajo condiciones buenas, se podrán originar resultados útiles, incluso sobrepasado el límite. Si un usuario desea determinar la ver- dadera calidad de un análisis basado en IA, esto sólo será posible a través de una comparación directa; los números y parámetros de los distintos fabricantes son demasiado diferentes. Y, además, las condiciones marco y el input, por supuesto, tienen que ser los mismos en todos los sistemas. Una prueba real con productos de demo, prestados o similares, es una buena posibilidad para ello. Adicionalmente, el rendimiento del sistema se muestra justo en el caso de uso requerido. Es, por cierto, también la clave a la hora de evaluar el rendimiento de sistemas IA en general: depende totalmente del uso en cada caso. Éste debería estar especificado de manera lomás exacta posible. Entonces, con la solución correcta, será posible dar un verdadero valor añadido al cliente. n La calidad de un análisis IA puede diferenciarse enormemente, dependiendo de qué parámetros sean considerados y qué condiciones marco prevalecen. 25