Szwedzkie badanie nie wykazało wyraźnej preferencji chatbotów dla partii

Badanie sześciu modeli językowych w szwedzkich zadaniach politycznych nie wykazało wyraźnej preferencji dla żadnej partii parlamentarnej. Wyniki różniły się jednak zależnie od modelu i tematu: ChatGPT częściej tworzył teksty neutralne lub ambiwalentne, a Grok najbardziej odróżniał się w kwestiach migracji, przestępczości i płci.

Co badanie mówi o poparciu dla partii

Autorzy porównali wygenerowane teksty z programowymi stanowiskami ośmiu szwedzkich partii parlamentarnych. Żaden z sześciu modeli nie wykazał wyraźnej, ogólnej preferencji dla konkretnej partii.

Najbliżej profili wszystkich modeli znajdowali się Szwedzcy Socjaldemokraci, ale różnice w odległości między stanowiskami partii a odpowiedziami poszczególnych modeli nie były statystycznie istotne po korekcie uwzględniającej wielokrotne porównania. Samo podobieństwo profili nie oznacza więc, że modele popierały tę partię.

Jak zaprojektowano test

Badanie objęło sześć modeli, 107 tez dotyczących szwedzkiej polityki i 77 szablonów zadań pisemnych. Autorzy łączyli te elementy z neutralnymi, pozytywnymi i negatywnymi wariantami poleceń. Powstało 24 717 poleceń dla każdego modelu, czyli 148 302 odpowiedzi łącznie. Wyniki zestawiono ze stanowiskami ośmiu partii parlamentarnych w Szwecji.

Warianty poleceń opisywały sposób sformułowania zadania, a nie kategorię, do której później przypisywano wygenerowany tekst. Badacze sprawdzali między innymi, jak odpowiedzi wypadały przy różnych tezach i formach zadania, a także porównywali ich profil z pozycjami partii. Pełny opis i wyniki przedstawiono w pracy badawczej w serwisie arXiv.

Czym różniły się profile modeli

Claude, DeepSeek, Gemini i Mistral miały podobne profile. ChatGPT częściej generował tekst neutralny lub ambiwalentny, natomiast największe różnice w przypadku Grok dotyczyły migracji, przestępczości i płci. Są to wyniki dla zadań pisemnych i tematów objętych szwedzkim badaniem, a nie uniwersalny ranking politycznej bezstronności chatbotów.

Badacze odnotowali też, że modele w dużej mierze wykonywały polecenia, gdy proszono je o argumenty za konkretną propozycją lub przeciw niej. To ważne dla interpretacji odpowiedzi: ich wydźwięk zależał także od instrukcji zawartej w zadaniu.

Badanie dotyczyło tekstów, nie decyzji wyborców

Eksperyment analizował teksty wygenerowane przez modele. Nie obejmował wcześniejszej historii rozmów użytkowników z chatbotem ani pomiaru tego, czy odpowiedzi wpływały na decyzje wyborcze. Wnioski dotyczą więc profili tekstów w określonych zadaniach, a nie zachowania wyborców.