AWS beschrijft een AI-systeem dat Amazon A+-pagina’s als geheel beoordeelt. Een vision-language model (VLM) geeft scores voor vier inhoudelijke onderdelen; optische tekenherkenning (OCR) meet vier leesbaarheidssignalen. Een CatBoost-classifier combineert die acht kenmerken tot een kwaliteitsclassificatie. AWS’ technische uitleg beschrijft ook hoe die beoordeling tot aanbevelingen leidt.
Een classificatiescore gaat over hoe het model content beoordeelt; een verkoopuitkomst meet iets anders.
De volledige A+-pagina is de beoordelingseenheid
Volgens AWS beoordeelt het systeem een gerenderde momentopname van de complete A+-pagina. Tekst, afbeeldingen, video en indeling tellen dus mee als onderdelen van één productpagina, in plaats van als afzonderlijke bestanden.
Het VLM kent elke pagina een score van 0 tot 10 toe voor visuele storytelling, presentatie van productkenmerken, A+-indeling en conversieoptimalisatie. Bij elke score horen ook een betrouwbaarheidswaarde en een toelichting. Zo omvat de visuele beoordeling zowel de afzonderlijke onderdelen als hun plaats op de pagina.
OCR voegt vier leesbaarheidssignalen toe
OCR haalt tekst en de positie ervan uit de pagina. AWS noemt vier signalen: tekstdichtheid, tekendichtheid, spatiëring en algemene leesbaarheid. De indeling speelt mee: dezelfde woorden kunnen andere leesbaarheidssignalen opleveren wanneer ze anders op de pagina staan.
Een vision-language model beoordeelt de visuele en inhoudelijke kant; OCR levert meetwaarden over tekst en opmaak. CatBoost combineert de vier VLM-scores met de vier OCR-signalen en classificeert de pagina als van hoge of lage kwaliteit. SHAP, een methode om bijdragen van kenmerken aan een modeluitkomst toe te lichten, laat zien welke kenmerken de classificatie omhoog of omlaag duwen. Een taalmodel gebruikt die bijdragen, de categorie en de toelichtingen van het VLM om aanbevelingen te rangschikken.
AWS baseerde de classificatie op 5.478 productdetailpagina’s uit tien categorieën. Eén expert in e-commercemarketing en vier professionele beoordelaars labelden de pagina’s als van hoge of lage kwaliteit; de meerderheid bepaalde het consensuslabel. 49,6 procent van die labels viel in de categorie hoge kwaliteit. De overeenstemming van afzonderlijke beoordelaars met het consensuslabel lag tussen 0,845 en 0,915 op Cohen’s kappa.
De hoofdtest vergelijkt vier classificatiemodellen
De onderstaande cijfers zijn AWS’ resultaten op een holdoutset van 20 procent van de dataset, ongeveer 1.100 pagina’s. Nauwkeurigheid geeft het aandeel juiste classificaties weer; de F1-score combineert precisie en recall.
| Configuratie | Nauwkeurigheid | F1-score |
| Gemiddelde VLM-scores met vaste drempel | 0,80 | 0,84 |
| CatBoost met alleen OCR-signalen | 0,82 | 0,83 |
| CatBoost met alleen VLM-scores | 0,89 | 0,90 |
| CatBoost met OCR- en VLM-signalen | 0,94 | 0,95 |
In deze evaluatie scoorde de combinatie van OCR- en VLM-signalen hoger op beide classificatiemaatstaven dan de drie andere configuraties. Dat zegt iets over het herkennen van de kwaliteitslabels in de testset; het is op zichzelf geen verkoopcijfer.
AWS meldt daarnaast dat kwaliteitsscores na revisies door verkopers gemiddeld 1,4 punt stegen op een schaal van 10. Ook rapporteert AWS een statistisch betekenisvolle verbetering van Ordered Product Sales (OPS) bij een wereldwijde A/B-test waarin de zichtbaarheid van laag beoordeelde A+-content werd aangepast. De revisiescore en de OPS-uitkomst zijn aparte resultaten van de classificatiemetrics.
