Demis Hassabis warnt beim KI-Gipfel in Dublin am 14. Oktober 2026 vor möglichen schweren Vorfällen mit KI-Agenten binnen ein bis zwei Jahren, falls Unternehmen und Regierungen ihre Schutzmaßnahmen nicht verbessern, berichtet ABC Color in einem AFP-Bericht. Es ist eine an Bedingungen geknüpfte Prognose, keine Gewissheit. Bisher beobachtete Fälle von Kontrollverlust seien nach Hassabis’ Einschätzung nicht schwerwiegend gewesen, aber Warnzeichen.
Neue Modelle zunächst abgeschottet testen
Hassabis empfiehlt, neue Modelle zuerst in abgeschotteten Testumgebungen, sogenannten Sandboxes, ohne Internetzugang zu erproben. So lässt sich prüfen, wie ein Modell handelt, bevor es mit externen Diensten verbunden wird. Seine Empfehlung ist Teil seiner Warnung vor möglichen Risiken leistungsfähigerer Agenten.
Welche Kontrollen Google DeepMind beschreibt
In seiner am 18. Juni 2026 veröffentlichten AI Control Roadmap beschreibt Google DeepMind ein internes Schutzkonzept für KI-Agenten. Es kombiniert Verhaltensüberwachung mit abgestuften Berechtigungen, die an nachgewiesenes Verhalten geknüpft sind, und vertrauenswürdigen KI-Aufsichtssystemen. Die Roadmap behandelt interne Agenten auch als mögliche Insider-Bedrohung: Ein Agent könnte unerwünschte Handlungen ausführen oder Überwachung umgehen. Google DeepMind erläutert den Ansatz im eigenen Blog.
Die Reaktion soll sich nach dem Risiko richten. Bei risikoarmen, umkehrbaren Aktionen kann eine spätere Prüfung mit anschließender Korrektur genügen. Besonders riskante Handlungen sollen dagegen in Echtzeit verhindert werden. Für die Überwachung nennt Google DeepMind drei Maßstäbe: den Anteil des überwachten Datenverkehrs, den Anteil erkannter Fehlverhaltensweisen und die Zeit bis zur Reaktion. Damit beschreibt das Unternehmen ein abgestuftes Kontrollmodell – keine pauschale Freigabe für Agenten.
Was Google DeepMind über seine Überwachung berichtet
Google DeepMind zufolge analysierte ein internes Überwachungsprototyp eine Million Aufgaben von Programmieragenten. Die Arbeit floss dem Unternehmen zufolge in einen Live-Monitor für den Agenten Gemini Spark ein. Google DeepMind berichtet außerdem, dass die meisten in seinen Daten markierten Ereignisse auf Fehlinterpretationen oder übermäßigen Eifer zurückgingen, nicht auf feindselige Absichten. Das ist die Einordnung des Unternehmens zu den von ihm überwachten Aufgaben.
Welche Sicherheitsrisiken bei KI-Agenten eine Rolle spielen
Ein KI-Agent verbindet ein Modell mit Werkzeugen und lässt es in einer wiederholten Handlungsschleife arbeiten. Dadurch kann er mehr tun als eine einzelne Antwort zu formulieren: Er kann etwa Werkzeuge einsetzen oder Zwischenschritte ausführen. Der englischsprachige Erklärfilm von IBM Technology, in dem Jeff Crume Agentenarchitektur und Sicherheitsrisiken erläutert, ordnet dazu unter anderem die Übernahme eines Ziels, eigenmächtig agierende Agenten und manipulierte Agentenerinnerungen ein.
