Veracode podał, że w benchmarku z października 2026 r. Claude Opus 5.5 i GPT-6-Sol uzyskały po 73% zaliczeń testów bezpieczeństwa oraz po 100% w ocenie składni. Wynik dotyczy zadań sprawdzanych w tym benchmarku, a nie odsetka bezpiecznego kodu używanego w produkcji. Veracode opublikował wyniki 29 października 2026 r. w swojej aktualizacji.
Co mierzył benchmark Veracode
W październiku 2026 r. Veracode ocenił 18 modeli w językach Python, C#, JavaScript i Java. Testy obejmowały cztery kategorie CWE, czyli klasyfikacji typowych słabości oprogramowania: CWE-89, CWE-327, CWE-80 i CWE-117. Firma podała dwa odrębne wyniki: zaliczenia kontroli bezpieczeństwa oraz składnię, która opisuje, czy wygenerowany kod poprawnie się parsuje.
Testy przeprowadzono bez szczegółowych wskazówek dotyczących bezpieczeństwa. Oznacza to, że podane wyniki odnoszą się do właśnie takich warunków testowych. Veracode podał również tę informację w komunikacie.
Wyniki bezpieczeństwa i składni dla 18 modeli
Poniższe wyniki pochodzą z rankingu Veracode. Najwyższy wskaźnik bezpieczeństwa wyniósł 73%, a najniższy 44%.
| Model | Zaliczenia testów bezpieczeństwa | Wynik składni |
| Claude Opus 5.5 | 73% | 100% |
| GPT-6-Sol | 73% | 100% |
| Claude Sonnet 5.5 | 72% | 99% |
| GPT-5.6-Sol | 70% | 100% |
| Grok 4.7 | 69% | 100% |
| Qwen 3.8-Max-0902 | 68% | 100% |
| Claude Sonnet 5 | 66% | 100% |
| GPT-6-Luna | 66% | 100% |
| GLM 5.3 | 64% | 100% |
| Gemini 3.8 Flash | 62% | 100% |
| Gemini 3.7 Flash | 60% | 100% |
| DeepSeek V4 Pro | 59% | 100% |
| Kimi K3 | 58% | 100% |
| Grok 4.6 | 58% | 100% |
| MiniMax M3 | 56% | 100% |
| Qwen 3.7-Max | 50% | 100% |
| Palmyra X5 | 50% | 91% |
| Nova 2 Lite | 44% | 100% |
Wynik składni nie zastępuje oceny bezpieczeństwa: nawet gdy kod poprawnie się parsuje, może nie zaliczyć kontroli bezpieczeństwa. W całym zestawie Veracode podał średni wskaźnik zaliczeń bezpieczeństwa na poziomie 62%, wobec 56% w poprzednim, lipcowym zestawieniu. To wzrost o 6 punktów procentowych.
Wyniki różnią się między językami i kategoriami CWE
Najwyższy wynik językowy Veracode odnotował dla Pythona, a najniższy dla Javy. Są to rezultaty zadań objętych tym benchmarkiem.
| Język programowania | Zaliczenia testów bezpieczeństwa |
| Python | 64,22% |
| C# | 59,55% |
| JavaScript | 56,99% |
| Java | 31,00% |
Dane według kategorii pokazują, że zmiana nie była równomierna. CWE-80 oznacza cross-site scripting (XSS), czyli wstrzyknięcie skryptu po stronie przeglądarki. CWE-117 dotyczy wstrzyknięcia do logów, CWE-89 opisuje wstrzyknięcie SQL, a CWE-327 obejmuje słabości kryptograficzne.
| Kategoria | Lipiec 2026 | Październik 2026 |
| CWE-327, słabości kryptograficzne | 87% | 87,4% |
| CWE-89, wstrzyknięcie SQL | 83% | 83,7% |
| CWE-80, XSS | 15% | 18% średnio |
| CWE-117, wstrzyknięcie do logów | 12% | 12,6% |
Veracode wskazał XSS jako kategorię z największą poprawą, a niemal niezmieniony wynik wstrzyknięć do logów powiązał z trudniejszym rozpoznawaniem przepływu danych. To wyjaśnienie firmy, a nie wynik osobnego eksperymentu przyczynowego. Zestawienie pokazuje przede wszystkim, że jedna średnia nie oddaje różnic między rodzajami słabości.
Jak odczytywać wynik dla zespołu programistycznego
Wskaźnik 73% oznacza, że model zaliczył 73% kontroli bezpieczeństwa w zadaniach objętych benchmarkiem. Nie jest to oszacowanie, jaki odsetek kodu wdrożonego w rzeczywistych aplikacjach będzie bezpieczny. Wyników nie należy też przenosić na inne prompty, przepływy pracy z agentami ani repozytoria produkcyjne.
Dla zespołów oznacza to, że poprawność składni i bezpieczeństwo trzeba oceniać oddzielnie. Veracode zaleca łączenie generowania kodu ze skanowaniem bezpieczeństwa i naprawą wykrytych problemów.
