Una vez más, en el Día de la Inteligencia Artificial (16 de julio), asistimos a un importante cambio de paradigma sobre cómo la inteligencia artificial puede mejorar procesos clave en los ámbitos de la Seguridad Ciudadana y la Defensa con la especificación desarrollada para posicionar un marco aplicado que proporcione criterios verificables para implantar controles de IA responsable en entornos críticos, incorporando controles técnicos, operativos y organizativos desde el diseño, integrando la calidad del dato, y medidas técnicas, mecanismos de control y protección.

Modelando la IA hacia resultados inclusivos, equitativos y socialmente beneficiosos, especialmente en lo que se refiere a los desafíos de seguridad ciudadana y la defensa y cómo esta tecnología ha dejado de ser una promesa de futuro para convertirse en el motor de la transformación estratégica y operativa actual.

 

Manuel Sánchez Gómez-Merelo
Consultor Internacional de Seguridad

 

 

 

Veamos esquemáticamente la realidad de nuestra percepción y establecer un decálogo sobre el Nuevo Paradigma de la Inteligencia Artificial, Seguridad Ciudadana y Defensa.

Introducción y Contexto Estratégico

El Cambio de Paradigma: de la promesa tecnológica a la necesidad operativa. Cómo la IA actúa hoy como el motor central de la transformación en seguridad ciudadana y defensa.

La Dualidad del Entorno: breve análisis de los desafíos actuales (asimetría de amenazas, volumen masivo de datos en tiempo real) y por qué los enfoques tradicionales ya no son suficientes.

La Tesis Central: el despliegue de la IA en misiones críticas solo es viable, sostenible y eficaz si se asienta sobre un marco de gobernanza estricto, responsable y verificable desde su propia concepción.

Áreas de Impacto Operativo: Casos de Uso Clave

Seguridad Ciudadana: análisis predictivo de patrones delictivos para optimización de patrullajes (sin caer en perfiles automatizados sesgados).

Gestión inteligente de emergencias y catástrofes mediante el procesamiento de flujos de datos multisensoriales.

Defensa y Operaciones Tácticas: sistemas de soporte a la decisión en tiempo real (mantenimiento predictivo de activos críticos, logística y conciencia situacional).

Fusión de datos procedentes de inteligencia, vigilancia y reconocimiento (ISR).

El Marco de IA Responsable desde el Diseño (By Design)

El despliegue de soluciones de inteligencia artificial en seguridad ciudadana y defensa no puede depender de parches éticos o revisiones a posteriori. En entornos de misión crítica -donde las decisiones impactan directamente en las libertades civiles, la seguridad nacional y la vida humana- la responsabilidad, la transparencia y el control deben integrarse de forma nativa en la arquitectura misma del sistema.

Gestión y Control

El principio de IA Responsable desde el Diseño (Responsible AI by Design) exige la convergencia simétrica de tres tipos de controles robustos y concurrentes: técnicos, operativos y organizativos.

Controles Técnicos: Arquitectura y Desarrollo Confiable

Los controles técnicos son las salvaguardas codificadas directamente en el software, los modelos y la infraestructura de datos. Su objetivo es garantizar la resiliencia determinista del sistema y evitar fallos opacos.

Inteligencia Artificial Explicable (XAI) intrínseca: en entornos operativos, se prohíbe el uso de arquitecturas de «caja negra» (black-box models) para tareas de alta criticidad (como el análisis de riesgo de reincidencia o la designación táctica de objetivos).

Mecanismos de Control y Bloqueo Humano (Human-in-the-loop / Human-on-the-loop): el sistema debe diseñarse de modo que la IA actúe estrictamente como un motor de recomendación o soporte a la decisión, manteniendo la última palabra siempre en el operador humano calificado.

Mitigación de Sesgos desde la Optimización Algorítmica: durante la fase de entrenamiento, se introducen funciones de pérdida personalizadas que penalizan matemáticamente la disparidad en las predicciones basadas en variables protegidas (edad, procedencia, género).

Controles Operativos: Despliegue Seguro en la Misión

Los controles operativos regulan el comportamiento de los sistemas de IA durante sus fases de simulación, inserción táctica y uso rutinario en el terreno por parte de las fuerzas de seguridad o unidades de defensa.

Protocolos de Validación en Entornos Aislados (Sandboxing): ningún sistema basado en aprendizaje automático se despliega directamente en producción sin haber superado simulaciones exhaustivas en escenarios controlados (sandboxes operativos).

Límites Operativos de Activación y Escalado: se definen matrices operativas estrictas que delimitan las condiciones exactas bajo las cuales el sistema de IA tiene autorización para operar.

Gestión del Cambio y Capacitación Operativa Continuada: el despliegue de IA requiere de operarios entrenados no solo para utilizar la herramienta, sino para desconfiar críticamente de ella si la situación lo amerita (mitigando el sesgo de automatización o complacencia algorítmica).

Controles Organizativos: Gobernanza e Institucionalidad

Los controles organizativos configuran el tejido normativo, los comités de vigilancia y las estructuras jerárquicas que validan la legitimidad institucional de la IA en la organización.

Comités de Ética y Supervisión Independiente: se formalizan órganos internos de control técnico-ético compuestos por perfiles multidisciplinares (analistas de datos, asesores legales, mandos operativos y expertos en derechos humanos).

Marcos de Cumplimiento Normativo y Alineación Legal: toda iniciativa basada en IA debe ser sometida a evaluaciones de impacto de los derechos fundamentales de manera estricta y transparente, garantizando una alineación matemática y de procedimientos con los marcos legislativos vigentes más exigentes (como el Reglamento de Inteligencia Artificial de la Unión Europea para sistemas de alto riesgo y las normativas de seguridad nacional).

Auditorías Externas de Caja: la organización se compromete a someter periódicamente sus plataformas operativas a auditorías por parte de agencias estatales independientes o terceros homologados.

El Activo Crítico: Calidad, Protección y Control del Dato

En los entornos operativos de seguridad ciudadana y defensa, los datos no son meros insumos informáticos; constituyen el tejido mismo sobre el cual se articulan la conciencia situacional y la línea de mando. Un modelo de Inteligencia Artificial óptimo es completamente inútil si es alimentado con datos corruptos, incompletos o manipulados.

Ciclo de Vida de la Calidad del Dato

La calidad del dato no es un estado estático, sino un proceso continuo que acompaña a la información en cada una de sus fases operativas. En misiones críticas, este ciclo se gestiona bajo los siguientes parámetros estrictos:

Ingesta y Validación en el Origen: los flujos de datos provienen de fuentes heterogéneas (sensores IoT cámaras de videovigilancia, transmisiones de radio, bases de datos policiales).

Representatividad y Vigencia: para mitigar los sesgos históricos, los datasets de entrenamiento y validación se someten a análisis de representatividad demográfica y geográfica. Además, en seguridad y defensa, el factor temporal es crítico.

Medidas Técnicas de Protección y Ciberseguridad del Dato

Las infraestructuras de datos en este sector son objetivos preferentes para actores hostiles. La protección del dato debe estructurarse bajo el principio de Confianza Cero (Zero Trust) y blindarse contra ataques específicos dirigidos a desestabilizar la IA:

Mitigación de Ataques Adversarios y Envenenamiento: los vectores de ataque modernos buscan corromper el aprendizaje del modelo introduciendo sutiles perturbaciones en los datos de entrenamiento (data poisoning) o manipulando los datos de entrada en fase de inferencia (ejemplos adversarios).

Criptografía Avanzada para la Privacidad: Cifrado Homomórfico que permite que los algoritmos operen e infieran predicciones sobre datos que permanecen completamente cifrados, garantizando que los analistas o proveedores de infraestructura no tengan acceso visual a información clasificada o datos personales sensibles durante el procesamiento.

Seguridad Perimetral y Almacenamiento Segmentado: los repositorios de datos se aíslan mediante redes definidas por software (SDN) y entornos de ejecución seguros (TEEs), limitando el acceso mediante controles de identidad basados en roles criptográficos inviolables.

Mecanismos de Control y Linaje del Dato (Data Lineage): la auditabilidad de la IA requiere reconstruir el camino exacto que recorrió un dato desde su captura física hasta su impacto en una orden operativa. Los mecanismos de control técnico se dividen en tres capas:

Trazabilidad Extrema (Data Lineage): se implementan gráficos de dependencia automatizados que registran cada transformación, agregación o filtrado que sufre un dato.

Auditorías de Flujo en Tiempo Real: agentes de software autónomos monitorizan los flujos de información de forma ininterrumpida.

Control de Acceso e Historiales de Consulta Inmutables: cada consulta, lectura o modificación de los conjuntos de datos destinados a la IA genera un apunte criptográfico indeleble.

El Modelo de Evidencias Verificables y Criterios Objetivos

Para que un marco de Inteligencia Artificial Responsable (IAR) sea efectivo en entornos de alta criticidad como la seguridad ciudadana y la defensa, no puede depender de declaraciones de intenciones o autoajustes subjetivos. Exige la construcción de un ecosistema de auditoría automatizado que genere evidencias empíricas, continuas y verificables por terceros independientes. Este modelo se articula en tres pilares: métricas formalizadas, registros inmutables y metodologías de inspección objetiva.

Métricas de Desempeño Responsable y Equidad Algorítmica

La eficacia de un sistema de IA tradicionalmente se mide mediante métricas puramente analíticas (Precisión, Recall, F1-Score o el área bajo la curva ROC). Sin embargo, en misiones operativas, estas métricas deben cohabitar obligatoriamente con KPIs de equidad (Fairness Metrics) para garantizar resultados inclusivos y corregir desviaciones sesgadas.

Se implementan de forma automatizada los siguientes criterios matemáticos de verificación:

Paridad Demográfica (Demographic Parity): garantiza que la probabilidad de que el sistema genere un resultado positivo o de intervención (por ejemplo, la asignación de patrullas preventivas o la identificación de perfiles de riesgo) sea estadísticamente idéntica en diferentes subgrupos de población, independientemente de variables protegidas como raza, género o nivel socioeconómico.

Igualdad de Oportunidades (Equality of Opportunity): exige que las tasas de Verdaderos Positivos sean iguales para todos los subgrupos. En seguridad ciudadana, esto asegura que el algoritmo tenga la misma capacidad para identificar incidentes reales en un barrio vulnerable que en uno de rentas altas, evitando la sobreexposición policial de zonas específicas por errores de muestreo.

Igualdad de Cuotas (Equalized Odds): obliga a que tanto la tasa de Verdaderos Positivos como la de Falsos Positivos se mantengan homogéneas entre colectivos. Controlar de forma estricta los falsos positivos es crítico en defensa e inteligencia para evitar falsas alarmas que puedan desencadenar una escalada de fuerza o vulnerar los derechos de ciudadanos inocentes.

Pistas de Auditoría Inmutables (Audit Trails)

Cualquier inferencia, recomendación o acción sugerida por una IA en el ámbito táctico debe dejar una huella digital que reconstruya con total fidelidad el proceso de toma de decisiones. El modelo exige el diseño de Pistas de Auditoría Inmutables, estructuradas bajo arquitecturas de registro seguro (como tecnologías de libro mayor distribuido o ledgers criptográficos con políticas de retención estrictas WORM: Write Once, Read Many).

Este nivel de trazabilidad permite que, ante un incidente operativo o una reclamación legal, un comité de investigación pueda recrear el escenario analítico exacto en un entorno de pruebas simulado, aislando si el fallo fue del dato, del modelo, de la infraestructura de red o de la interpretación del factor humano.

Ensayos Clínicos Algorítmicos y Monitorización del «Concept Drift»

Los sistemas de IA no son estáticos; interactúan con entornos dinámicos y hostiles que degradan su precisión con el tiempo. El modelo de evidencias instituye dos tipos de evaluaciones técnicas obligatorias:

Evaluaciones de Impacto Algorítmico (EIA) Ex-Ante: antes del paso a producción, el sistema se somete a simulaciones con datos históricos no vistos y escenarios sintéticos de estrés.

Certificación de Cumplimiento Técnico: como cierre del modelo, estas métricas y registros se compilan en paneles de control analíticos (Dashboards de Gobernanza) y reportes automatizados. El objetivo es proporcionar a los inspectores generales, auditores judiciales o autoridades de control civil una Declaración de Conformidad Técnica.

IA orientada a Resultados Inclusivos y Beneficio Social

Equidad Social: cómo el uso responsable de la IA reduce la arbitrariedad en las actuaciones policiales y democratiza el acceso a la seguridad.

Garantía de Derechos: demostración de que la eficacia operativa en defensa y seguridad no está reñida con la preservación de las libertades civiles.

El Retorno Social: la IA como herramienta protectora del tejido social y el Estado de Derecho.

Conclusiones

La IA ya no es una opción de cara al futuro; es una realidad táctica.

La verdadera ventaja estratégica no la tendrá quien despliegue la IA más rápido, sino quien lo haga de la forma más robusta, confiable y verificable.