A AWS descreve um sistema do Amazon Marketplace que avalia a página Amazon A+ Content renderizada como um todo, combinando um modelo de visão e linguagem (VLM), reconhecimento óptico de caracteres (OCR), o classificador CatBoost e explicações de atributos feitas com SHAP. A conta técnica da AWS apresenta a página como a unidade avaliada, em vez de pontuar cada imagem ou bloco de texto isoladamente.
A avaliação considera a página completa
O sistema analisa um retrato renderizado da página, com texto, imagens, vídeos e disposição dos módulos. O VLM atribui notas de 0 a 10 em quatro dimensões: narrativa visual (Visual Storytelling), apresentação de recursos (Feature Presentation), organização da página A+ (A+ Layout) e otimização para conversão (Conversion Optimization). Cada nota vem acompanhada de um valor de confiança e de uma justificativa escrita.
A unidade de análise é a página como o cliente a vê: texto, imagens, vídeos e layout entram na mesma avaliação.
Como visão e legibilidade alimentam o classificador
O OCR extrai quatro sinais relacionados ao texto e à sua organização visual: densidade de texto, densidade de caracteres, espaçamento e legibilidade geral. Assim, a disposição do conteúdo também conta; as mesmas palavras podem receber sinais de legibilidade diferentes conforme o layout.
O CatBoost combina as quatro notas do VLM com os quatro sinais de OCR, totalizando oito atributos. A AWS diz que o classificador é treinado com rótulos de qualidade definidos por especialistas. Depois, o SHAP identifica quais atributos contribuíram para elevar ou reduzir uma previsão. Um modelo de linguagem usa essas contribuições negativas, a categoria do produto, práticas de comércio eletrônico e as justificativas do VLM para organizar recomendações por prioridade.
O que os resultados da AWS medem
A avaliação principal usou 5.478 páginas de produto em 10 categorias. Um especialista em marketing de comércio eletrônico e quatro anotadores profissionais avaliaram as páginas; a maioria dos votos definiu o rótulo final. Os anotadores tiveram concordância entre 0,845 e 0,915 pelo coeficiente kappa de Cohen, e 49,6% dos rótulos de consenso foram de alta qualidade.
A AWS avaliou as configurações abaixo em uma mesma amostra de teste, correspondente a 20% do conjunto, ou cerca de 1.100 páginas. A acurácia indica a proporção de classificações corretas; a pontuação F1 combina precisão e revocação (recall).
| Configuração | Acurácia | Pontuação F1 |
| Média das notas do VLM com limiar fixo | 0,80 | 0,84 |
| CatBoost somente com OCR | 0,82 | 0,83 |
| CatBoost somente com VLM | 0,89 | 0,90 |
| CatBoost com sinais de OCR e VLM | 0,94 | 0,95 |
Na avaliação reportada, combinar OCR e VLM ficou 0,14 acima da linha de base em acurácia e 0,11 em F1, diferenças equivalentes a 14 e 11 pontos percentuais. Em relação ao CatBoost com VLM apenas, a diferença foi de 0,05 em cada métrica.
Em outro teste, com 499 projetos de uma única categoria, a fusão de OCR e VLM também teve pontuações superiores às configurações de linha de base relatadas pela AWS. Com um VLM mais leve, acurácia e F1 passaram de 0,74 e 0,72 para 0,90 e 0,90; com um VLM mais capaz, foram de 0,79 e 0,84 para 0,94 e 0,95.
Essas métricas tratam da classificação de qualidade. Em um resultado separado, a AWS relata que revisões de vendedores feitas com base nas recomendações foram acompanhadas por um aumento médio de 1,4 ponto numa escala de qualidade de 10. A empresa também relata melhora nas Ordered Product Sales (OPS) em um experimento A/B mundial que ajustou a visibilidade de conteúdo A+ de baixa qualidade. São resultados operacionais distintos das métricas de classificação.
