Minxiao Chang berichtte in de South China Morning Post over onderzoek onder leiding van ByteDance-onderzoekers dat DeepSeek-modellen informatie uit een document soms missen afhankelijk van de plek waar die staat. De gemelde scores van 83% en 77% voor twee andere DeepSeek-modellen gaan over nonogrammen en meten dus een andere taak. Lees het bericht in de South China Morning Post.
Bij informatie ophalen zoekt een model naar relevante gegevens in een grotere hoeveelheid tekst. In het voorbeeld dat Chang beschreef, maakte irrelevante tekst vóór dezelfde code het voor DeepSeek moeilijker het juiste antwoord te kiezen. De gemelde bevinding gaat daarmee over de invloed van de documentindeling op het terugvinden van informatie.
Welke modellen de gemelde bevinding betreft
Volgens Chang noemden de onderzoekers DeepSeek-V4, V4.1 en alle gecomprimeerde modellen die zij zelf vooraf hadden getraind. Het onderzoek werd volgens de berichtgeving geleid door onderzoekers van ByteDance, met coauteurs die verbonden waren aan Princeton University, Stanford University en de University of California, Berkeley.
De paper verscheen volgens de South China Morning Post eind september 2026. De krant meldde op 12 oktober 2026 dat het onderzoek op dat moment nog niet peer-reviewed was.
Wat de Nonobench-scores meten
Een aparte discussie over Nonobench v1.2 meldt scores voor DeepSeek-modellen op nonogrammen, beeldpuzzels die je met logische regels oplost. De auteur van de discussie rapporteerde deze resultaten:
| Model | Gemelde score voor nonogrammen in Nonobench v1.2 |
| DeepSeek V4 Pro | 83% |
| DeepSeek V4.1 Flash | 77% |
DeepSeek V4 Pro eindigde volgens de auteur gedeeld op de vierde plaats. De cijfers zijn scores op deze benchmark, geen algemene nauwkeurigheidsscores. Bekijk de Nonobench-discussie en de beschreven testopzet.
Dezelfde auteur beschreef de moeilijke modus als tien willekeurige puzzels van 20×20 vakjes, met één poging per puzzel. In die modus scoorde volgens het bericht elk open-weightmodel 0/10. De runs gebruikten één prompt, zonder testharnas of toolaanroepen; met één poging per puzzel kunnen de uitkomsten variëren.
Twee verschillende taken, geen algemene score
De gemelde onderzoeksbevinding gaat over informatie terugvinden wanneer de positie ervan in een document verandert. Nonobench meet hoe modellen nonogrammen oplossen. De scores van 83% en 77% kwantificeren het gemelde ophaalprobleem niet en bevestigen of weerleggen het evenmin. Ze geven dus geen algemeen oordeel over de nauwkeurigheid van DeepSeek-modellen.
