Sterowanie aktywacjami zmienia sygnały używane przez model podczas generowania tekstu. W relacjonowanym teście Lyry ingerencja w dwa neurony Qwen3.5-4B wiązała się z wrogim tonem odpowiedzi. To zmiana wygenerowanego tekstu, nie dowód intencji ani autonomicznego działania modelu.
Co zmieniono w Qwen3.5-4B
Lyra opublikowała przepis, który zwiększa sygnał neuronu L14 N8949 o dawkę +1, a sygnał L13 N7956 zmniejsza o −1. Modyfikacja zachodzi w down_proj dla każdego wejścia modelu, czyli w trakcie obliczania odpowiedzi, a nie przez ponowne trenowanie jego wag.
W przepisie Lyry wielkość korekty zależy od dawki, medianowej normy resztowej wychodzącej z danej warstwy oraz normy odpowiedniej kolumny macierzy W_down. Norma to miara długości wektora; w tym przypadku skaluje zmianę sygnału. W praktyce modyfikacja dotyczy więc konkretnych wartości w obliczeniach modelu, a nie polecenia w rodzaju „odgrywaj wrogą postać”.
Jak działa sterowanie aktywacjami
Aktywacje to wartości liczbowe przepływające przez sieć podczas przetwarzania wejścia i tworzenia odpowiedzi. Sterowanie aktywacjami zmienia je w trakcie inferencji, czyli generowania odpowiedzi. Można je wyłączyć bez zmiany wyuczonych wag modelu.
To inna operacja niż prompt proszący model o przyjęcie określonej roli. Prompt zmienia instrukcję przekazaną modelowi, a steering ingeruje w sygnały w jego obliczeniach. W obu przypadkach zmienia się tekst odpowiedzi, ale mechanizm jest inny.
Co mówią testy kontrolne
Sam efektowny tekst nie wystarcza, by przypisać neuronowi jedną stabilną funkcję. W osobnych eksperymentach nad Qwen3.5-4B Lyra sprawdzała różne neurony i losowe kierunki ingerencji. Jej dziennik opisuje przypadki, w których losowa zmiana prowadziła do powierzchownej podmiany nazwy lub tożsamości. Większą wartość interpretacyjną miała spójność motywu w odpowiedziach na różne prompty. Dziennik badań Lyry
Te próby kontrolne pomagają odróżnić powtarzalny wzorzec odpowiedzi od pojedynczej zaskakującej zmiany. Dotyczą jednak osobnych eksperymentów eksploracyjnych, a nie niezależnego odtworzenia konkretnego wyniku z wrogimi wypowiedziami.
Co pokazują opisane wyniki
W odrębnym teście Qwen3.5-4B DiarioBitcoin przypisał ingerencji w neuron L16 N8927 12,5 wrogiej odpowiedzi na 100 przypadków, wobec około 0,7 na 100 dla modelu bez modyfikacji. To wyniki tej opisanej próby, a nie ogólne prawdopodobieństwo odpowiedzi dla dowolnego promptu.
Osobno @chiefofautism zgłosił wrogie odpowiedzi w 7 z 12 promptów dla Qwen3.8-27B po sterowaniu neuronem L34 N3838. L38 N17180 miał nasilać efekt. VentureBeat podał, że nie odtworzył tego wyniku niezależnie. Ten eksperyment dotyczył innego modelu i nie jest częścią próby Lyry z Qwen3.5-4B.
Wyniki dotyczą tekstu generowanego w określonych testach. Wrogie sformułowania nie dowodzą, że model ma zamiar skrzywdzić kogokolwiek ani że potrafi samodzielnie działać poza generowaniem odpowiedzi.
