Cuando el gatillo lo dispara un algoritmo

La IA no forma parte de la guerra del futuro, sino del presente. Aunque su uso queda muchas veces oculto bajo el secreto militar, se sabe que en los conflictos del Alto Karabaj, Ucrania o Gaza se ha empleado profusamente y ha multiplicado la capacidad de alguno de los contenientes en campos como la logística, la selección de blancos, la defensa antiaérea o el lanzamiento de ataques coordinados. La posibilidad de procesar millones de datos en segundos acorta el tiempo de reacción, elevando el ritmo del combate hasta una velocidad que el ser humano es incapaz de seguir, y aboca al riesgo de que sea la máquina la que lleve la iniciativa.

Mientras la revolución de la tecnología militar se acelera, políticos y juristas avanzan a su propio ritmo, con debates que se prolongan meses o incluso años, en la discusión de un marco legal que permita hacer frente a un nuevo escenario en el que el dedo que aprieta el gatillo puede acabar siendo un algoritmo.

“El debate que se plantea con estas tecnologías es si hace falta un nuevo derecho internacional que las regule o basta con rellenar lagunas, reinterpretar el derecho existente; y, entretanto, establecer normas de conducta responsable por parte de los Estados”, reflexiona el general auditor Jerónimo Domínguez Bascoy, un estudioso de las implicaciones de las nuevas tecnologías militares en el derecho internacional humanitario.

Aunque el uso militar de la IA ha saltado a la opinión pública con motivo de la ofensiva sobre Gaza, la primera vez de la que hay constancia de su empleo en combate fue hace tres años precisamente en el mismo escenario, con la Operación Guardian de los Muros, de las Fuerzas de Defensa de Israel (IDF), sobre la Franja. Un alto oficial del Ejército israelí la calificó entonces como “la primera guerra de IA de la historia”.

Hay dudas de que fuese realmente la primera, pues el informe de un panel de Naciones Unidas menciona el uso en 2019, en la guerra civil libia, del Kargu 2, un dron turco que presumía de su capacidad de ataque autónomo. Ante la polémica, los fabricantes alegaron que se referían a su “autonomía de navegación”, no a que disparase sin intervención humana. Menos dudas presenta el empleo del Harop, el dron de origen israelí empleado por Azerbayán en el conflicto de Nagorno-Karabaj, al que se atribuye buena parte de su victoria sobre Armenia, en enero pasado; o el incremento exponencial de las llamadas municiones merodeadoras, que sobrevuelan como aves rapaces hasta localizar un blanco, en la invasión de Ucrania.

La IA tiene una amplia gama de aplicaciones militares; algunas más inocuas, como la logística o el mantenimiento predictivo, que permite anticipar cuándo sustituir cada pieza mediante la implantación de múltiples sensores en vehículos, buques o aviones. También se utiliza en misiones ISR (Inteligencia, Vigilancia y Reconocimiento) y mejora exponencialmente la eficacia de los sistemas de mando y control. Su incorporación a la Cúpula de Hierro ha permitido que este escudo antiaéreo israelí multiplique su capacidad para identificar drones y misiles en caso de ataque masivo y priorice los que debe neutralizar antes por su mayor peligrosidad.

“Hay otras funciones más controvertidas”, admite Domínguez Bascoy, también diplomado en Derecho Internacional Militar, que ha trabajado como asesor jurídico en varios cuarteles generales de la OTAN y la Unión Europea. Las IDF han utilizado en su ofensiva sobre Gaza el Habsora (Evangelio, en hebreo), un sistema de producción a gran escala de objetivos militares. “Desde el punto de vista jurídico no es un arma, es una herramienta de apoyo a la decisión”, explica el general. “Te da en unos segundos lo que equipos humanos tardarían semanas en producir: cientos de objetivos militares, basándose en datos obtenidos por múltiples sensores y en información de campañas anteriores”.

Se supone que el uso de la IA debería implicar mayor precisión en los ataques y menos daños colaterales, pero en Gaza sucede lo contrario.

“Suponemos que los objetivos que selecciona el IDF son legítimos; es decir, combatientes de Hamás. Sin embargo, por lo que vemos, Israel tiene una gran tolerancia a los daños colaterales, está dispuesto a pagar el precio de un alto número de víctimas civiles para conseguir su propósito. Y eso nos lleva a otro principio del derecho internacional: la proporcionalidad. Hay que evaluar la ventaja militar que se obtiene y el daño que se causa. Si el daño civil incidental tiene mucho más peso que la ventaja militar, ese ataque puede ser considerado ilegal e incluso un crimen de guerra. Esa evaluación solo está al alcance del ser humano, porque hay que sopesar aspectos políticos, legales y éticos”.

En un momento en que se habla del campo de batalla transparente, en el que gracias a la multiplicidad de sensores es posible conocer en tiempo real todo lo que sucede en el teatro de operaciones, la IA introduce una caja negra: el algoritmo, cuyos parámetros son una incógnita.

“El problema que plantea el uso de la IA para el targeting letal [selección de blancos a eleminar] es que esté condicionado por el sesgo que se haya introducido [al programarlo]. La máquina no tiene moral, no se le pueden pedir cuentas, siempre tiene que haber un humano al que responsabilizar de posibles errores o crímenes de guerra que pueda cometer un robot”, explica este experto en derecho de la guerra.

En teoría, quien toma la decisión última de disparar es el mando militar, pero este dispone de solo unos segundos para decidir.

“Es el llamado sesgo de automatización, el riesgo de que el operador, sometido a presión, acepte acríticamente todo lo que le propone la máquina sin contrastarlo. Ya en el targeting tradicional, distinguimos entre el blanco deliberado y el de oportunidad. Creo que la máquina puede servir de apoyo para el primero, en el que hay tiempo para hacer todo el proceso, incluido el asesoramiento jurídico y el cálculo de proporcionalidad. No para el segundo”.

Entre los blancos de oportunidad de la guerra de Gaza figuraba la caravana de World Central Kitchen, la ONG del chef español José Andrés, que, pese a estar claramente identificada, fue atacada por el Ejército israelí el pasado 2 de abril cuando repartía comida en la Franja, con un saldo de siete cooperantes muertos.

“Aunque en este caso el ‘error de identificación’ parece que fue exclusivamente humano, no fruto de una decisión apoyada en una herramienta de IA, resultaría necesario que, más allá de destituciones y amonestaciones, Israel pusiera en marcha una investigación de naturaleza penal. De lo conocido derivan serias dudas en cuanto al respeto a dos principios básicos del derecho internacional humanitario: el de distinción —si no está claro el estatus de una persona, debe presumirse que es civil— y el de proporcionalidad”.

La máquina no tiene moral, no se le pueden pedir cuentas, siempre tiene que haber un humano al que responsabilizar de posibles errores o crímenes de guerra que pueda cometer un robot

Además del Habsora, que selecciona objetivos, el IDF ha empleado en Gaza otro programa de AI: el Lavender (Lavanda), dedicado a identificar a supuestos cuadros de Hamás o la Yihad Islámica como blancos humanos. El sistema compara los datos disponibles de un individuo con una serie de patrones (sexo, edad, antecedentes, itinerarios, relaciones sociales, etcétera) y aplica un cálculo de probabilidad del 1 al 10. Si la puntuación es muy alta, se considera un blanco legítimo.

Para seguir el rastro del supuesto terrorista, se utiliza otro programa, denominado Where is Daddy? (¿Dónde está papa?). Las ejecuciones se realizan de noche, cuando los sospechosos están en sus domicilios, lo que provoca cuantiosas víctimas civiles. Eso sin contar con que su margen de error se estima en un 10%. Según una investigación de los medios israelíes +972Magazine y Local Call, Lavande se empleó para asesinar a 15.000 palestinos en el primer mes y medio de ofensiva sobre Gaza.

Los sistemas de armas con IA se clasifican en tres categorías en función del grado de intervención humana. Se llama human in the loop (humano en el circuito) al procedimiento en el que el ser humano juega un papel fundamental en la toma de decisiones; decide el despliegue del sistema y también qué y cuándo atacar. En cambio, se habla de human on the loop (humano sobre el circuito) cuando la persona se limita a supervisar el funcionamiento del sistema, por si hay que desactivarlo. Finalmente, en human off the loop (humano fuera del circuito), el control humano desaparece por completo una vez puesto en marcha.

En 2013, un grupo de oenegés, encabezado por Human Rigth Watch y Amnistía Internacional, lanzó la campaña Stop Killer Robots (Alto a los Robost Asesinos) para prohibir las armas autónomas. El Comité Internacional de la Cruz Roja (CICR), que inicialmente era reacio a aprobar nuevos instrumentos legales, porque suponía reconocer que las Convenciones de Ginebra tenían lagunas, ha cambiado de opinión: en octubre pasado, la presidenta del CICR, Mirjana Spoliari, y el secretario general de la ONU, António Guterres, dieron la voz de alarma sobre el “funcionamiento imprevisible” de las armas autónomas e hicieron un llamamiento a los líderes mundiales para que acordaran un régimen de prohibiciones y restricciones de su uso antes de 2026.

Hasta ahora, ha habido escasos avances. En 2014, bajo la presión de la campaña Stop Killer Robots, se abrió un debate en el seno de la Convención de la ONU sobre ciertas armas convencionales y en 2017 se creó un grupo de expertos gubernamentales con el objetivo de intentar fijar unos criterios consensuados.

“La verdad es que este grupo ha dado muchas vueltas y ha avanzado muy poco”, reconoce el general Domínguez Bascoy. “En 2018 hicieron un informe en cuyo anexo fijan los principios que deben guiar el debate. Fue un avance porque dicen que se debe aplicar el derecho internacional humanitario, que siempre tiene que haber un responsable humano o que estos sistemas no se deben antropomorfizar; es decir, no podemos tener un robot de apariencia humana, una especie de Terminator. Es algo que acordaron unánimemente. El problema es que no hay acuerdo sobre qué es un sistema autónomo letal, sobre a qué hay que aplicarlo”.

Un sistema que no sea predecible debe estar prohibido

EE UU es contrario a una regulación estricta, con prohibiciones y limitaciones, alegando que se trata de tecnologías en desarrollo y cualquier normativa puede quedarse desfasada. “Es más partidario —explica este general auditor— de lo que se denomina soft law [derecho blando] que de instrumentos jurídicamente vinculantes”.

En febrero de 2023, el Departamento de Estado difundió una declaración política, actualizada en noviembre pasado, sobre Uso Responsable de la Inteligencia Artificial y Autonomía en el Ámbito Militar. Su objetivo es llegar a un consenso internacional, lo más amplio posible, en torno al desarrollo, despliegue y utilización de la IA militar. Más de 50 países se han adherido a la declaración, incluida España.

“Es un código de buenas prácticas, porque Estados Unidos cree que, en este campo, lo que deben hacer los Estados es autolimitarse”, señala. “La ambición de la ONU y del Comité Internacional de la Cruz Roja es mucho más potente; quieren un instrumento vinculante que establezca limitaciones y prohibiciones”.

El Ministerio de Defensa español aprobó en julio pasado una Estrategia de Uso de la IA en la que se advierte de que su empleo “estará condicionado a la clara e inequívoca posibilidad de identificar a la persona responsable del sistema”. España no prevé inicialmente incorporar la IA al armamento letal, sino a campos como inteligencia, logística o ciberdefensa, pero el protocolo advierte de que “estos casos de uso iniciales no impiden la incorporación [en el futuro] de otros de interés para el Ministerio de Defensa”. Es decir, no se descarta nada.

Entre los 50 países que se han adherido a la declaración de Washington sobre uso militar de la IA, no está Israel, uno de sus mayores aliados.

“No está porque imagino que no quiere autolimitarse”, apunta el general Jerónimo Domínguez Bascoy.

Resulta inquietante que esa declaración llame a asegurar la capacidad de desactivar las armas autónomas cuando tengan “un comportamiento no deseado”. ¿Cabe la posibilidad de que escapen al control del ser humano?

“Es un riesgo”.

Una pesadilla.

“Con la IA, el aprendizaje no queda congelado en un momento determinado. Cuando incorporas un sistema de armas, debes revisar si es acorde al derecho internacional; pero. una vez que lo pones en marcha, ese sistema no es estático, sigue aprendiendo por sí mismo. El riesgo es que la máquina acabe escapando de las manos de su creador. Tú sabes cómo funciona en los ensayos, pero no cómo responderá en el campo de batalla, por eso un sistema que no sea predecible debe estar prohibido. Pasos como la declaración de Estados Unidos son importantes, pero insuficientes. Yo soy partidario de llegar a un acuerdo internacional jurídicamente vinculante que establezca reglas claras. No va a ser fácil”.