Javier Lacort

Tiene un perímetro que seguramente ningún ciudadano y a lo mejor ningún empleado de estas empresas va a poder verificar desde fuera.

No digo que me parezca bien ni mal, solo describo que es algo legal y que no es en estos términos.

Anthropic ha intentado mantener algo distinto que podemos resumir en mensajes como no nos uséis para vigilancia masiva, no nos uséis para armas sin que un humano decida cuándo disparar.

Lo que el Pentágono está contestando básicamente es no vais a decirnos cómo hacemos nuestro trabajo.

El argumento del Pentágono creo que como mínimo no es descartable, sea cual sea vuestra ideología y vuestra posición en esto.

Eso es saber en qué mundo vivimos, para bien o para mal, que no es un mundo de rosas y de unicornios.

Pero también es real lo que dice Amodei cuando habla del riesgo de acabar con un puñado de personas capaces de operar un ejército de drones sin necesitar que ningún otro ser humano coopere.

Y eso tampoco es ciencia ficción, eso es literalmente para lo que sirve un sistema autónomo bien diseñado.

Y aquí es donde quiero parar un momento.

Porque hay algo en esa historia que me parece mucho más importante que esta disputa en sí.

Todo ese sistema legal, todo ese sistema ético de las fuerzas armadas modernas descansa sobre un principio que parece muy obvio, pero que tiene consecuencias muy grandes, que es que un soldado puede y debe desobedecer una orden manifiestamente ilegal.

Ese es el mecanismo que, en teoría, impide los crímenes de guerra.

Claramente no funciona siempre, eso ya lo sabemos todos, pero existe.

Es la base sobre la que se ha construido el derecho internacional humanitario

Los convenios de Ginebra, los juicios de Nuremberg, esta idea de que hay una cadena de responsabilidad humana detrás de cada acción militar y que en algún punto de esa cadena hay una persona que tomó una decisión y que esa persona puede ser identificada y juzgada.

Esto la historia o cine bélico nos lo han enseñado bien.

Un sistema autónomo controlado por IA no tiene ese mecanismo, no se puede negar, no puede dudar y no puede ser juzgado en un consejo de guerra.

Si ese sistema comete lo que en un humano llamaríamos un crimen de guerra, ¿quién va a responder?

¿Va a responder el ingeniero que escribió esa parte del código en una oficina del ECE de San Francisco hace dos años sin tener ni idea de que esto iba a acabar siendo usado para esto?

¿Va a responder el general que activó el sistema esa mañana?