Tim Pritlove

Das heißt, wenn du große Mengen Code analysieren willst, musst du den im Prinzip abstrahieren und quasi abstrahieren.

quasi über die Menge der Funktionen und was dieser Code tut, quasi Abkürzungen und Vereinfachungen bilden, um dann Hypothesen zu haben, wo Fehler passieren können und dann diese spezifischen Sachen dir noch einmal genauer anschauen.

Also du hast so ein Abstraktionsproblem, weil du nicht den gesamten Code in seinem kompletten Kontext einfach in dieses Modell packen kannst.

Deswegen also dieses, sie haben es mehrmals gemacht und haben im Prinzip so eine probabilistische Wahrscheinlichkeit, dass das Ding...

dass das Modell A, einen Fehler findet und genauso eine probabilistische Angabe mit wie großer Wahrscheinlichkeit es dem Ding sofort gelingt oder überhaupt gelingt, einen funktionierenden Exploit dafür zu machen.

Im Vergleich Opus 4.6 kriegt das zuverlässig in weniger als ein Prozent hin und hier hast du eins, was es in 72 Prozent der Fälle hinkriegt.

Diesen zweiten Teil quasi Exploits zu bekannten Schwachstellen zu schreiben, den finde ich gewissermaßen ungleich beunruhigender.

Weil wenn du jetzt überlegst, was bedeutet diese Entwicklung?

Okay, Angreifer können ausreichend Tokens vorausgesetzt jetzt in Quellcode, den sie haben.

Laut diesem Beispiel wird für andere Anwendungen eine ähnliche Entwicklung sich dann zeigen, aber bei Quellcode ist es jetzt noch relativ naheliegend.

Angreifer können also jetzt sagen, alles klar, wir nehmen jetzt hier so einen Cloud Mythos und eine Kreditkarte und geben ein paar tausend Euro aus und gucken mal, ob wir ein Critical in der und der Software Library finden.

So, gut.

Was bedeutet das für Angriff und Verteidigung?

Okay, wer ein bisschen Geld ausgibt, kann ein sehr mächtiges Code-Auditing-Tool zur Anwendung bringen.

Das heißt aber, das können auch Verteidiger.

Und am Ende haben Verteidiger wahrscheinlich in Summe mehr Geld, was sie dafür ausgeben, Code zu auditieren, als Angreifer.

Es gibt einfach mehr Menschen, Firmen, Organisationen und Ressourcen, die an der Sicherheit von Code interessiert sind, als es Kapital gibt, das an der spezifischen Unsicherheit von Code interessiert ist.

Also ich als Angreifer, was weiß ich, wenn ich eine Million habe und ich will einen Critical irgendwo finden, dann hat meine Konkurrenz zehn oder hunderte Millionen an jeder Stelle potenziell investiert, wo ich suche.

Das heißt, da würde ich dann am Ende doch einen strukturellen Nachteil für Angreifer sehen.

Immer long term.