Inteligencia artificial en la medicina: “El peligro oculto en los datos no certificados”

Uno de los problemas más destacados en el informe de ECRI es el uso de bases de datos (BD) que no reflejan la diversidad y complejidad de las poblaciones reales. Por ejemplo, los modelos de IA entrenados con datos predominantemente masculinos pueden fallar al detectar condiciones específicas en mujeres, como enfermedades cardíacas con síntomas atípicos.

Otro caso común es la subrepresentación de pacientes de ciertas etnias o regiones geográficas, lo que genera sesgos algorítmicos que comprometen los resultados. Un ejemplo preocupante es el uso de herramientas de diagnóstico radiológico que no identifican con precisión patologías en imágenes provenientes de poblaciones poco representadas en los datos de entrenamiento.

La falta de estandarización y certificación de los datos médicos utilizados amplifica estos problemas, poniendo en riesgo la equidad y la seguridad en la atención médica.

El informe subraya un fenómeno cada vez más documentado: las “alucinaciones” de la IA. Este término describe situaciones en las que un modelo genera respuestas erróneas o sin fundamento, especialmente cuando enfrenta escenarios fuera de su dominio de entrenamiento. En medicina, esto podría derivar en diagnósticos o recomendaciones terapéuticas incorrectas, con consecuencias potencialmente fatales.

Por ejemplo, una IA utilizada en triaje hospitalario podría clasificar incorrectamente a un paciente crítico como no urgente si los datos no certifican adecuadamente escenarios de alta variabilidad clínica.

La Unión Europea ha adoptado un enfoque más proactivo respecto a la regulación de la IA en medicina a través del Reglamento de Dispositivos Médicos (MDR, por sus siglas en inglés) y el próximo Reglamento de Inteligencia Artificial (AI Act). Estas normativas establecen estándares rigurosos para el desarrollo, la implementación y la supervisión de tecnologías basadas en IA, con un énfasis en la transparencia y la seguridad.

1. Clasificación de riesgos de la IA: El AI Actual establece diferentes categorías de riesgo para las aplicaciones de IA, considerando las implicaciones para la salud y los derechos fundamentales de los pacientes. Las soluciones de IA utilizadas en medicina suelen clasificarse como de “alto riesgo”, lo que exige evaluaciones estrictas antes de su implementación.
2. Requisitos de datos de alta calidad: La regulación exige que los modelos de IA se entrenen con conjuntos de datos que sean representativos, relevantes y libres de sesgos. Además, las empresas desarrolladoras deben proporcionar evidencia clara de la calidad y fiabilidad de sus datos.
3. Supervisión continua y transparencia: La normativa europea promueve el uso de auditorías independientes y el registro de las decisiones tomadas por la IA, garantizando trazabilidad y responsabilidad en caso de errores.
4. Marcado CE y conformidad: Todas las herramientas de IA médica deben obtener el marcado CE, demostrando su cumplimiento con los estándares europeos de seguridad, eficacia y ética.

ECRI sugiere que, además de adherirse a normativas como las de la UE, las instituciones sanitarias implementen prácticas complementarias para mitigar riesgos, tales como:

• Revisión multidisciplinaria de modelos de IA: Formar comités de ética y tecnología que evalúen las aplicaciones antes de su adopción.
• Capacitación del personal sanitario: Asegurar que médicos y enfermeros comprendan los límites de la IA, manteniendo el juicio clínico como eje central.
• Actualización constante de los modelos: Invertir en la actualización de los algoritmos con datos nuevos y más diversos.

El informe ECRI 2025 pone de manifiesto una preocupación crítica: el impacto negativo de la IA basada en datos no certificados y sesgados. Si bien esta tecnología ofrece un potencial transformador, la falta de calidad en los datos y la supervisión pueden convertirla en un arma de doble filo.

Europa, con su enfoque regulatorio pionero, establece un modelo a seguir, priorizando la seguridad y la transparencia. Sin embargo, el camino hacia una IA médica ética y efectiva requiere un esfuerzo conjunto entre gobiernos, desarrolladores y profesionales sanitarios.

Solo mediante un enfoque integral se podrá garantizar que la IA cumpla su promesa de revolucionar la atención sanitaria sin comprometer la seguridad de los pacientes.

Más información sobre soluciones basadas en IA aplicadas al sector Salud en Alhambra Health.