Em estudo de caso publicado em 27 de outubro de 2026, a AWS relatou que 96,8% das etiquetas usadas antes pela Property Finder para avaliar imagens vinham das previsões do próprio modelo incumbente. Assim, outras opções eram comparadas com o comportamento do modelo que pretendiam substituir, e não com uma referência independente anotada por especialistas.
Como as etiquetas do modelo incumbente enviesaram a avaliação
A Property Finder avalia 11 atributos de qualidade em imagens de imóveis, como marcas-d’água, tipo de cômodo, mobília e qualidade da foto. A operação processa dezenas de milhares de imagens por dia na região do Oriente Médio e Norte da África; cada anúncio tem, em média, 15 imagens, segundo a AWS.
Das etiquetas antigas, apenas 3,2% tinham sido produzidas por pessoas. Essa parcela também continha erros: por exemplo, uma anotação aceitava como correto um erro na leitura de texto de marca-d’água, e uma categoria chamada “Office” não existia no prompt. A classificação de cômodos em uma única categoria também não representava bem imagens com mais de um tipo de ambiente.
Quando as respostas do modelo avaliado viram o gabarito, a avaliação mede o quanto uma alternativa repete essas respostas. Isso pode favorecer o incumbente mesmo quando suas etiquetas têm erros ou não descrevem toda a imagem.
Como a Property Finder refez o conjunto de referência
Uma pessoa especialista na área anotou 356 imagens dos Emirados Árabes Unidos sem consultar as previsões anteriores. A equipe do AWS Generative AI Innovation Center revisou a qualidade das etiquetas e esclareceu casos ambíguos. As primeiras 256 imagens formaram o conjunto de desenvolvimento; outras 100, anotadas depois, completaram o conjunto usado na comparação.
A equipe também passou a aceitar múltiplas etiquetas quando uma imagem mostrava cômodos ou características sobrepostos. Uma checagem separada incluiu 230 imagens do Egito. A AWS não apresentou resultados dessa checagem.
O que as pontuações Micro F1 mostram
No conjunto de 356 imagens dos Emirados Árabes Unidos, a AWS relatou Micro F1 de 0,80 para Llama 4 Maverick 17B Instruct com o prompt v27_PF e 0,56 para proprietary model A com v22. Micro F1 é a métrica principal informada para essa comparação.
| Modelo | Versão do prompt | Micro F1 em 356 imagens dos Emirados Árabes Unidos |
| Llama 4 Maverick 17B Instruct | v27_PF | 0,80 |
| proprietary model A | v22 | 0,56 |
Esses resultados têm condições distintas das de um teste independente com esforço de ajuste igual. As 256 imagens usadas para desenvolver os prompts também estão no conjunto final, e Llama recebeu mais rodadas de ajuste e regras adicionais da Property Finder; proprietary model A recebeu uma rodada. A AWS classificou as pontuações como otimistas.
Para Llama com v27_PF, a AWS também informou exact-match accuracy, uma medida de correspondência exata, entre os nove atributos de rótulo único: o resultado foi de 100% para detectar rotação e 55% para extrair texto de marcas-d’água. Esses números descrevem atributos específicos do mesmo conjunto, não uma pontuação geral de desempenho.
Prompts e uma abordagem de duas chamadas
A equipe iterou os prompts de v0 a v27. As versões incorporaram regras para casos como cômodos vistos através de portas, texto decorativo em árabe, imagens renderizadas, bordas ou molduras e corredores. Na classificação de fotos da versão v27, a equipe usou MIPROv2.
Uma estratégia que separava os atributos de marca-d’água dos demais em duas chamadas à API não trouxe ganho significativo de precisão e reduziu a detecção de imagens emolduradas. Com os atributos de marca-d’água fora do mesmo prompt, as sobreposições podiam ser confundidas com bordas.
Estimativas de custo e latência
A AWS estimou, para dezembro de 2025 e a região US East (Ohio), um custo de US$ 2,35 por 1.000 imagens para Llama e uma redução de 86% frente à estimativa da configuração anterior. O cálculo original considerava 9.000 tokens de entrada e 200 de saída por imagem. A AWS descreveu o valor de Llama como uma estimativa superior: o prompt de produção usava cerca de 7.500 a 8.000 tokens de entrada em uma única chamada para obter os atributos da imagem.
A redução de custo foi calculada em relação à estimativa anterior com v21. Já a comparação de Micro F1 usou proprietary model A com v22, portanto as duas comparações têm bases diferentes. A Property Finder também relatou que seu próprio monitoramento observou latência de inferência 40% a 60% menor que na configuração anterior.
