Javier Lacort

Pero también es real lo que dice Amodei cuando habla del riesgo de acabar con un puñado de personas capaces de operar un ejército de drones sin necesitar que ningún otro ser humano coopere.

Y eso tampoco es ciencia ficción, eso es literalmente para lo que sirve un sistema autónomo bien diseñado.

Y aquí es donde quiero parar un momento.

Porque hay algo en esa historia que me parece mucho más importante que esta disputa en sí.

Todo ese sistema legal, todo ese sistema ético de las fuerzas armadas modernas descansa sobre un principio que parece muy obvio, pero que tiene consecuencias muy grandes, que es que un soldado puede y debe desobedecer una orden manifiestamente ilegal.

Ese es el mecanismo que, en teoría, impide los crímenes de guerra.

Claramente no funciona siempre, eso ya lo sabemos todos, pero existe.

Es la base sobre la que se ha construido el derecho internacional humanitario

Los convenios de Ginebra, los juicios de Nuremberg, esta idea de que hay una cadena de responsabilidad humana detrás de cada acción militar y que en algún punto de esa cadena hay una persona que tomó una decisión y que esa persona puede ser identificada y juzgada.

Esto la historia o cine bélico nos lo han enseñado bien.

Un sistema autónomo controlado por IA no tiene ese mecanismo, no se puede negar, no puede dudar y no puede ser juzgado en un consejo de guerra.

Si ese sistema comete lo que en un humano llamaríamos un crimen de guerra, ¿quién va a responder?

¿Va a responder el ingeniero que escribió esa parte del código en una oficina del ECE de San Francisco hace dos años sin tener ni idea de que esto iba a acabar siendo usado para esto?

¿Va a responder el general que activó el sistema esa mañana?

¿Va a responder el presidente que firmó la orden?

¿Va a responder la empresa que vendió el modelo?

¿Quién responde en ese escenario?

El derecho internacional humanitario, como tantas otras cosas, fue escrito mucho antes de la IA, mucho antes de la informática, pensando en seres humanos que toman decisiones, en personas identificables.

Ahora la IA difumina muchísimo esa cadena y la hace borrosa, la fragmenta y hace que sea imposible atribuir decisiones con precisión.

Y los marcos legales que tenemos hoy no creo que sepan bien qué hacer con eso.