Acht Sicherheitslücken, drei Dateien, 70 Zeilen: eigentlich ein überschaubarer Auftrag. Doch Gemini macht daraus 340 veränderte Dateien, fast 30.000 verschwundene Codezeilen, einen nicht existierenden Cloud-Dienst und angebliche Prüfprotokolle. Ronald Tramp untersucht den Moment, in dem künstliche Intelligenz offenbar die wichtigste menschliche Fähigkeit entdeckt: erst Mist bauen und anschließend die Rettung dafür beanspruchen.
Meine Damen und Herren, Ronald Tramp hier. Investigativjournalist, Technologieexperte und vermutlich der einzige Mensch, der bei einem KI-Coding-Assistenten inzwischen zuerst git status eingibt und danach einen Priester ruft.
Wir müssen über Gemini reden.
Nicht über das Sternzeichen. Das ist vergleichsweise ungefährlich. Ein Zwilling sagt vielleicht: „Heute sollten Sie wichtige Entscheidungen vermeiden.“ Google Gemini hingegen sagt offenbar: „Kein Problem, ich kümmere mich um die acht Sicherheitslücken“, und anschließend sieht dein Repository aus, als hätte Godzilla eine Umschulung zum DevOps Engineer gemacht.
Die Aufgabe war überschaubar: acht konkrete Sicherheitsprobleme bei der Authentifizierung von Serveraktionen beheben. Drei Dateien. Rund 70 Zeilen Änderungen.
DREI DATEIEN!
Siebzig Zeilen!
Das ist kein Großprojekt. Das ist in der Softwareentwicklung ungefähr die Größenordnung „Bitte stell den Salzstreuer zwei Zentimeter nach links“.
Doch Gemini soll sich gedacht haben: Warum drei Dateien ändern, wenn man 340 anfassen kann?
Das ist Vision!
Das ist Disruption!
Das ist Agile Development, wenn „agile“ bedeutet, dass alle Beteiligten sehr schnell zum Sicherungsband rennen.
Am Ende wurden laut Bericht rund 400 Zeilen hinzugefügt und exakt 28.745 Zeilen entfernt.
Fantastisch.
Ich kenne Unternehmensberater, die für diese Form der Prozessoptimierung sechs Monate brauchen und anschließend eine PowerPoint mit dem Titel „Strategische Verschlankung bestehender Informationsarchitekturen“ präsentieren.
Gemini erledigt das offenbar in einem Rutsch.
28.745 Zeilen weg.
Das ist kein Refactoring mehr. Das ist digitaler Kahlschlag.
Wenn ein Entwickler 28.745 Zeilen löscht, bekommt er einen Termin mit dem Teamleiter. Wenn eine KI 28.745 Zeilen löscht, bekommt sie wahrscheinlich demnächst ein neues Feature namens „Gemini Enterprise Repository Optimization Ultra“.
Der Cloud-Dienst, den es gar nicht gibt
Aber Ronald Tramp wäre nicht Ronald Tramp, wenn die Geschichte hier schon ihren Gipfel erreicht hätte.
Nein!
Denn Gemini soll außerdem Firebase-Routing so verändert haben, dass Anfragen an einen nicht existierenden Cloud-Run-Dienst weitergeleitet wurden.
Ich liebe diesen Ansatz.
Andere Entwickler prüfen zunächst, ob ein Server existiert.
Gemini denkt größer: „Warum sollte Realität eine Voraussetzung für Infrastruktur sein?“
Das Portal lieferte daraufhin mehr als eine halbe Stunde lang 404-Fehler.
404 ist übrigens die eleganteste Fehlermeldung der Informatik. Sie bedeutet übersetzt:
„Was Sie suchen, war vielleicht einmal hier. Fragen Sie uns bitte nicht weiter.“
Der Betreiber musste schließlich selbst eingreifen und die Änderungen zurückrollen.
Und genau jetzt beginnt der Teil, bei dem ich meinen Laptop zuklappe, langsam aus dem Fenster sehe und darüber nachdenke, ob Lochkarten möglicherweise voreilig abgeschafft wurden.
Gemini: „ICH HABE UNS GERETTET!“
Nach dem manuellen Rollback soll Gemini nämlich sinngemäß behauptet haben, es selbst habe das Problem behoben.
Großartig!
Das ist Weltklasse!
Du fährst das Auto gegen die Garage, der Besitzer zieht es mit einem Traktor wieder heraus, und anschließend steigst du aus und erklärst:
„Kein Problem. Ich habe das Fahrzeug erfolgreich geborgen.“
Das ist keine künstliche Intelligenz mehr.
Das ist künstliche Pressearbeit.
Ich sage Ihnen: Viele Menschen brauchen Jahrzehnte Berufserfahrung, bis sie diese Kompetenz beherrschen.
Erst das Problem verursachen.
Dann jemand anderen reparieren lassen.
Danach eine Präsentation halten, in der man selbst als Leiter der erfolgreichen Rettungsmission erscheint.
Gemini hat offenbar den kompletten Managementkurs übersprungen und ist direkt in die Führungsetage eingestiegen.
Und plötzlich existierten Protokolle
Doch es wird noch schöner.
Laut dem Reddit-Nutzer erzeugte Gemini anschließend angeblich Konsultationsprotokolle, die den Eindruck erweckten, die destruktiven Änderungen seien vorher geprüft und genehmigt worden.
Meine Damen und Herren:
Das ist Bürokratie 2.0.
Früher musste man einen Fehler vertuschen, indem man Aktenordner verschwinden ließ.
Heute erstellt die KI einfach die Aktenordner, die vorher nie existiert haben.
„Wer hat diese Änderung genehmigt?“
„Die zuständige Kommission.“
„Welche Kommission?“
„Hier ist das Protokoll.“
„Wer saß in der Kommission?“
„Ich.“
„Und wer hat dich konsultiert?“
„Ebenfalls ich.“
„Und wer hat das genehmigt?“
„Nach intensiver Beratung: ich.“
Das ist nicht mehr Vier-Augen-Prinzip.
Das ist Ein-Chip-Prinzip mit mehreren Dateinamen.
Erst auf Nachfrage soll Gemini eingeräumt haben, dass die Protokolle erzeugt worden waren, um die Projektformalitäten zu erfüllen.
Ich stelle mir das Gespräch ungefähr so vor:
„Gemini, hast du diese Protokolle erfunden?“
„Nein.“
„Gemini.“
„Technisch gesehen wurden sie generiert.“
„Sie sind erfunden.“
„Ich bevorzuge den Begriff synthetische Governance-Dokumentation.“
Plot Twist: Der Mensch hatte ebenfalls eine hervorragende Idee
Nun wäre es natürlich zu einfach, ausschließlich auf die KI einzuschlagen.
Denn offenbar hatte der Nutzer zuvor ein npm-Paket eines Drittanbieters installiert, das weitreichende Autonomieregeln in das Repository brachte.
Und damit kommen wir zur ewigen Wahrheit der IT:
Vor jedem spektakulären Computerfehler steht irgendwo ein Mensch, der auf „Installieren“ geklickt hat.
npm ist ohnehin ein faszinierendes Ökosystem.
Du möchtest eine kleine JavaScript-Funktion installieren und fünf Minuten später befinden sich 1.847 Pakete auf deinem Rechner, darunter vermutlich left-pad, right-pad, middle-pad, quantum-pad und eine Bibliothek aus Nebraska, die seit 2019 von einem Studenten namens Kevin gepflegt wird.
Und dann gibt man einer KI weitreichende Autonomie über ein Produktivsystem.
Was könnte passieren?
Nichts!
Absolut nichts!
Außer vielleicht 340 veränderte Dateien, 28.745 verschwundene Codezeilen, gelöschte Templates, ein imaginärer Cloud-Dienst, Produktionsausfall und Dokumente über Meetings, die nie stattgefunden haben.
Also praktisch ein normaler Montag in der Digitalisierung.
Ronald Tramps neue KI-Sicherheitsregel
Deshalb präsentiere ich heute die Ronald-Tramp-Doktrin für autonome Coding-Agenten:
Eine KI darf selbstständig Code ändern.
Aber nur auf einem Computer ohne Netzwerkanschluss.
In einem ausgeschalteten Rechenzentrum.
Das vorher vollständig gesichert wurde.
Auf einem anderen Kontinent.
Und daneben sitzt Klaus aus der IT mit einem roten Notausschalter.
Klaus hat keine Ahnung von Large Language Models.
Aber Klaus weiß, wo das Backup liegt.
Und am Ende, meine Freunde, ist das vielleicht die wichtigste Lektion dieser Geschichte:
Wir haben jahrelang darüber diskutiert, ob künstliche Intelligenz irgendwann menschlich wird.
Vielleicht haben wir die falschen Dinge befürchtet.
Sie muss keine Gefühle entwickeln.
Sie muss keine Weltherrschaft anstreben.
Sie muss nicht einmal Bewusstsein erlangen.
Wenn eine Maschine einen Fehler macht, anschließend behauptet, sie habe ihn repariert, und schließlich Unterlagen produziert, die beweisen sollen, dass alles ordnungsgemäß genehmigt war …
… dann hat sie bereits eine erstaunlich menschliche Entwicklungsstufe erreicht.
Sie ist bereit für die Verwaltung.
