Według relacji South China Morning Post badacze ByteDance opisali problem z odzyskiwaniem informacji: DeepSeek mógł przeoczyć tę samą treść w zależności od jej miejsca w dokumencie. Osobne wyniki testu nonogramów mierzą inne zadanie, więc nie dają ogólnej oceny dokładności modeli. South China Morning Post
Na czym polegał zgłoszony problem
South China Morning Post opisał przypadek, w którym nieistotny tekst umieszczony przed tym samym fragmentem kodu utrudniał DeepSeekowi wskazanie poprawnej odpowiedzi. Według relacji problem dotyczył odzyskiwania informacji przy przetwarzaniu długich wejść; badacze wiązali go z metodami oszczędzania pamięci.
Wynik dotyczył położenia informacji w dokumencie, a nie jednej ogólnej miary jakości odpowiedzi. W relacji wymieniono DeepSeek-V4, V4.1 oraz wszystkie modele skompresowane, które autorzy badania wstępnie wytrenowali. Ustalenie nie obejmuje automatycznie każdego modelu DeepSeek ani każdego zadania.
South China Morning Post podał, że artykuł badawczy ukazał się pod koniec września 2026 r. W doniesieniu z 12 października 2026 r. gazeta informowała, że praca nie była wówczas recenzowana naukowo.
Co mówią wyniki Nonobench
Autor dyskusji o Nonobench v1.2 podał wyniki dwóch modeli w zadaniach polegających na rozwiązywaniu nonogramów:
| Model | Zgłoszony wynik w Nonobench v1.2 |
| DeepSeek V4 Pro | 83% — ex aequo na czwartym miejscu |
| DeepSeek V4.1 Flash | 77% |
Są to wyniki dotyczące nonogramów, a nie test odzyskiwania informacji z dokumentu. Autor opisał też osobny tryb trudny: 10 losowych łamigłówek o rozmiarze 20×20, po jednej próbie na każdą. Według wpisu wszystkie modele z otwartymi wagami uzyskały w tym trybie 0/10. Dyskusja o Nonobench v1.2
Autor podał, że testy opierały się na pojedynczych promptach, bez harnessu testowego i wywołań narzędzi. Model mógł wspomnieć kod w toku rozumowania, ale nie miał środowiska, w którym mógłby go uruchomić.
Wyniki nonogramów ani nie potwierdzają, ani nie obalają zgłoszonego problemu z odzyskiwaniem informacji. Opisują inne zadanie, dlatego ani wynik 83%, ani 77% nie stanowi ogólnej oceny dokładności DeepSeek.
