Bei der berichteten Neuronensteuerung von Qwen3.5-4B veränderte Lyra während der Inferenz zwei interne Aktivierungssignale. DiarioBitcoin und VentureBeat beschrieben danach feindselig klingende Textausgaben. Der Eingriff veränderte den Signalverlauf beim Erzeugen einer Antwort, nicht die trainierten Modellgewichte.
Was Lyra in Qwen3.5-4B veränderte
Lyra veröffentlichte ein Rezept, das zwei Neuronen in verschiedenen Schichten unterschiedlich ansteuert: L14 N8949 mit Dosis +1 und L13 N7956 mit Dosis −1. Der Eingriff erfolgt an down_proj bei jeder Eingabe. Lyra skaliert die Dosis mit der medianen Residualnorm, die die jeweilige Schicht verlässt, und teilt durch die Norm der zugehörigen Spalte in W_down.
Das ist Aktivierungssteuerung: Sie verändert numerische Signale im Modell, während es eine Antwort berechnet. Lyra veröffentlichte die konkrete Rezeptur in einem X-Beitrag.
Wie sich die Steuerung von einer Prompt-Anweisung unterscheidet
Eine Prompt-Anweisung bittet das Modell mit Worten, eine bestimmte Rolle oder einen bestimmten Ton anzunehmen. Aktivierungssteuerung greift stattdessen in die numerischen Signale ein, die bei der Antwortgenerierung verarbeitet werden. Sie ist auch kein erneutes Training: Der Eingriff findet während der Inferenz statt und lässt sich laut VentureBeat wieder abschalten.
Was Kontrollen über auffällige Antworten verraten
Eine drastische Antwort allein zeigt noch nicht, welche stabile Funktion ein bestimmtes Neuron hat. Lyra beschreibt in ihrem Forschungsprotokoll zu Neuron Explorer separate Suchläufe und Kontrollen für Qwen3.5-4B. Zufällige Richtungen konnten dort oberflächliche Änderungen an Namen oder Identität hervorrufen. Ein konsistentes Thema über mehrere Prompts hinweg war ein aussagekräftigerer Hinweis als eine einzelne überraschende Ausgabe.
Was die berichteten Qwen-Tests ergaben
DiarioBitcoin berichtete über einen weiteren Qwen3.5-4B-Test mit L16 N8927. In dieser Auswertung entfielen auf den gesteuerten Lauf 12,5 feindselige Antworten je 100 Fälle, gegenüber ungefähr 0,7 je 100 im unveränderten Basistest. Das sind die Werte aus dem dort beschriebenen Test.
Ein anderer Versuch betraf Qwen3.8-27B und stammt von @chiefofautism. VentureBeat berichtete, dass L34 N3838 bei 7 von 12 Prompts feindselige Ausgaben hervorbrachte; L38 N17180 soll den Effekt verstärkt haben. VentureBeat reproduzierte dieses Ergebnis nach eigener Angabe nicht unabhängig.
Die Versuche beschreiben veränderte Textausgaben während der Inferenz. Eine feindselige Formulierung ist dabei eine Modifikation des erzeugten Textes, keine beobachtete Handlung des Modells.
