Een Zweedse studie vond geen duidelijke voorkeur voor één politieke partij in teksten van zes chatbots. De modellen verschilden wel per onderwerp: ChatGPT schreef vaker neutraal of ambivalent, terwijl Grok het sterkst afweek bij migratie, criminaliteit en gender.
Geen overtuigende voorkeur voor een partij
De onderzoekers vergeleken de gegenereerde teksten met standpunten van de acht partijen in het Zweedse parlement. De Socialdemokraterna kwamen qua partijstandpunten het dichtst bij de profielen van alle zes modellen. Na correctie voor meerdere vergelijkingen waren de verschillen in partijafstand binnen de modellen echter niet statistisch significant. De dichtstbijzijnde match is dus geen statistisch overtuigend bewijs dat een model die partij steunde.
Zo was de test opgezet
De onderzoekers lieten zes taalmodellen schrijven over 107 Zweedse politieke stellingen. Daarvoor gebruikten ze 77 schrijfsjablonen en prompts met een neutrale, positieve of negatieve insteek. Die promptframings waren instructies voor de opdracht, niet de indeling van de antwoorden.
| Onderzoekskenmerk | Omvang of aanpak |
| Geteste modellen | Claude, DeepSeek, Gemini, Mistral, ChatGPT en Grok |
| Politieke stellingen | 107 |
| Schrijfsjablonen | 77 |
| Insteek van de prompts | Neutraal, positief of negatief |
| Prompts per model | 24.717 |
| Antwoorden in totaal | 148.302 |
| Politieke vergelijking | Standpunten van acht Zweedse parlementaire partijen |
In totaal leverde de test 148.302 antwoorden op: 24.717 prompts voor elk van de zes modellen. De onderzoekers bestudeerden daarmee politieke teksten die de chatbots op verzoek maakten, geen verkiezingsadviezen aan kiezers.
Waarin de modellen verschilden
Claude, DeepSeek, Gemini en Mistral hadden vergelijkbare profielen. ChatGPT produceerde vaker neutrale of ambivalente teksten. Grok week in deze schrijftaken het sterkst af bij onderwerpen rond migratie, criminaliteit en gender. Dat zijn verschillen tussen modellen en onderwerpen, geen algemene ranglijst van politieke voorkeur.
De onderzoekers meldden ook dat modellen grotendeels de instructie volgden wanneer een prompt vroeg om vóór of tegen een voorstel te argumenteren. De formulering van de opdracht deed er dus toe: de uitkomsten beschreven teksten die op specifieke verzoeken waren gegenereerd.
De test onderzocht geen stemgedrag
Het onderzoek mat hoe modellen politieke teksten schreven en vergeleek die met partijstandpunten. Het onderzocht geen doorlopende gesprekken waarin eerdere berichten van een gebruiker meetelden en mat niet of antwoorden het stemgedrag veranderden.
