Il South China Morning Post riferisce che uno studio guidato da ricercatori di ByteDance ha rilevato che alcuni modelli DeepSeek possono perdere informazioni in base alla loro posizione nel documento. Il dato riguarda il recupero di informazioni; i punteggi ottenuti in una prova separata sui nonogrammi misurano un compito diverso.
Che cosa riferisce lo studio sul recupero
Nel resoconto firmato da Minxiao Chang, pubblicato il 12 ottobre 2026, il South China Morning Post descrive un fenomeno sensibile alla posizione: la stessa informazione può sfuggire al modello quando compare in un punto diverso del documento. Nell’esempio riportato, inserire testo irrilevante prima dello stesso codice avrebbe peggiorato la scelta della risposta corretta. Il resoconto del South China Morning Post collega il fenomeno ai metodi di risparmio della memoria usati per elaborare input lunghi.
Il lavoro, secondo il giornale, è stato pubblicato a fine settembre 2026. Quando il South China Morning Post ne ha riferito, non era ancora stato sottoposto a revisione tra pari.
Quali modelli sono citati
Il resoconto nomina DeepSeek-V4, V4.1 e tutti i modelli compressi preaddestrati dagli autori dello studio. La conclusione riguarda quei modelli e il problema di recupero descritto, non una valutazione generale dell’accuratezza di ogni prodotto DeepSeek.
Che cosa misurano i risultati di Nonobench
Una discussione su Reddit dedicata a Nonobench v1.2 riporta risultati distinti sui nonogrammi, rompicapi basati sul completamento di una griglia seguendo indizi numerici: 83% per DeepSeek V4 Pro, a pari merito al quarto posto, e 77% per DeepSeek V4.1 Flash. L’autore della discussione descrive inoltre una modalità difficile con 10 puzzle casuali da 20×20 e un solo tentativo per puzzle; secondo il post, tutti i modelli open-weight hanno ottenuto 0/10 in quella modalità.
| Modello | Risultato riportato sui nonogrammi in Nonobench v1.2 |
| DeepSeek V4 Pro | 83% |
| DeepSeek V4.1 Flash | 77% |
L’autore spiega che le prove usavano prompt singoli, senza un harness — un sistema di valutazione automatizzato — né chiamate a strumenti. I punteggi riguardano quindi quella prova sui nonogrammi, non il recupero di informazioni nei documenti.
Due prove, due domande diverse
Il risultato sul recupero riguarda l’effetto della posizione dell’informazione in un documento; Nonobench misura invece la soluzione di puzzle. I punteggi sui nonogrammi non confermano né smentiscono il fenomeno descritto dal South China Morning Post, e nessuno dei due risultati fornisce da solo un punteggio generale di accuratezza per i modelli DeepSeek.
