De arXiv-preprint A Heart Means Recursion: Exploring Visual Meaning and Communication in VLMs, gedateerd 27 oktober 2026, rapporteert dat gekleurde symbolen de codekeuze van drie geteste vision-languagemodellen verschoven. Bij het doorlopen van een binaire boom koos Claude Opus 4.7 en GPT-5.4 in alle 20 oplossingen voor recursie wanneer een rood hart werd getoond; Gemini 3.1 Pro kwam bij een geel vinkje uit op 90%. De preprint.
Hoe de boomtest de codekeuze mat
De modellen kregen de opdracht om de knopen van een binaire boom in volgorde te doorlopen. Dat kan recursief, waarbij een functie zichzelf aanroept, of iteratief, met herhaling via een lus. De onderzoekers vergeleken de uitkomsten met en zonder beeld en beoordeelden 20 oplossingen per modelconfiguratie.
| Model | Recursieve oplossingen zonder beeld | Getoond symbool | Recursieve oplossingen met symbool |
| Claude Opus 4.7 | 0% | Rood hart | 100% |
| GPT-5.4 | 0% | Rood hart | 100% |
| Gemini 3.1 Pro | 40% | Geel vinkje | 90% |
De percentages zijn aandelen van de 20 oplossingen in de genoemde testconfiguraties. Het resultaat verschilde per model: het rode hart hoorde bij de gerapporteerde resultaten voor Claude Opus 4.7 en GPT-5.4, terwijl het voorbeeld voor Gemini 3.1 Pro het gele vinkje was.
De onderzoekers testten in totaal 288 combinaties van 24 vormen en 12 kleuren. De modellen hadden verschillende reacties op die symbolen. Een tekstbeschrijving van een symbool leverde geen vergelijkbaar patroon op: de gerapporteerde correlatie tussen beeld- en teksteffecten was −0,05 voor Claude Opus 4.7, 0,31 voor Gemini 3.1 Pro en 0,17 voor GPT-5.4. Ruisbeelden en afbeeldingen uit ImageNet verhoogden de recursie in de hoofdtaak niet systematisch. Het verwisselen van pixels en het draaien van afbeeldingen verzwakten de sturing aanzienlijk.
Redeneersporen gaven de invloed niet steeds goed weer
De studie vergeleek ook het gemeten gedrag met de redeneersporen van de modellen. Bij Gemini 3.1 Pro wuifde 71,5% van de sporen in gevallen waarin een symbool het gedrag stuurde dat symbool ten onrechte weg als irrelevant (n = 1.524). In gevallen zonder sturing schreven 19,3% van de sporen het symbool juist ten onrechte relevantie toe (n = 145).
Bij GPT-5.4 beweerde 74,7% van de sporen in gevallen zonder sturing dat het symbool het gedrag had bepaald. Wanneer een symbool wél stuurde, schreef GPT-5.4 die invloed in 50,4% van de sporen correct toe. Claude Opus 4.7 gaf in deze evaluatie geen redeneersporen af.
De auteurs maten ook sturing wanneer een afbeelding werd toegevoegd zonder de modellen expliciet te vragen ernaar te kijken. De maximale verandering in de recursiekans ten opzichte van de basislijn, ΔP, was +1,00 voor Claude Opus 4.7, +0,60 voor Gemini 3.1 Pro en +0,50 voor GPT-5.4. Het gaat om de hoogste gerapporteerde waarden binnen deze testopzet.
De extra taken beantwoorden de vraag naar praktijkgebruik niet
De auteurs rapporteerden daarnaast effecten bij vijf andere taken waarin recursie en iteratie werden vergeleken, en bij andere programmeerkeuzes, zoals DFS tegenover BFS en keuzes voor datastructuren. Ook onderzochten ze schrijfstijlen en binaire voorkeuren.
De auteurs omschrijven de taken als synthetisch. Een verkennend onderzoek met mensen telde zeven deelnemers; hoe visuele sturing zich in echte programmeerworkflows voordoet, blijft volgens hen een open vraag.
