In een casestudy die AWS op 27 oktober 2026 publiceerde, meldt het bedrijf dat 96,8% van de eerdere evaluatielabels van Property Finder afkomstig was van voorspellingen van het bestaande model. Daardoor werden alternatieven vergeleken met het gedrag van dat model, in plaats van met een onafhankelijk vastgestelde referentie.
Hoe het bestaande model de meetlat werd
Property Finder beoordeelde met visionmodellen 11 kenmerken van vastgoedfoto’s, waaronder watermerken, kamertypes en de fotokwaliteit. De toepassing verwerkt volgens AWS dagelijks tienduizenden afbeeldingen in het Midden-Oosten en Noord-Afrika; een advertentie bevat gemiddeld 15 foto’s.
Als voorspellingen van het model dat je wilt vervangen de referentielabels vormen, kan een alternatief met een andere maar juiste classificatie als fout tellen. De benchmark meet dan vooral overeenstemming met het bestaande model. Ook de overige 3,2% handmatig gelabelde gegevens bevatte fouten: verkeerd gelezen watermerktekst werd als correct geaccepteerd en de labelset bevatte de categorie ‘Office’, die niet in de prompt stond.
Een nieuwe set met expertlabels
Een domeinexpert annoteerde 356 afbeeldingen van woningen in de Verenigde Arabische Emiraten. Medewerkers van het AWS Generative AI Innovation Center controleerden de kwaliteit en bespraken onduidelijke gevallen. De eerste 256 afbeeldingen vormden de ontwikkelset; de uiteindelijke evaluatieset bestond uit die beelden plus 100 afbeeldingen die later waren geannoteerd.
De teams maakten ruimte- en fotoclassificatie multi-label: één afbeelding kon dus meerdere passende labels krijgen als er bijvoorbeeld meer dan één kamertype zichtbaar was. Dat sluit beter aan bij foto’s waarin kamers elkaar overlappen of via een deuropening in beeld komen. De primaire maatstaf was Micro F1, een totaalscore over de beoordeelde labels. AWS gebruikte daarnaast onder meer Macro F1, precisie en recall per label, intersection over union en exact-match accuracy voor negen kenmerken met één label.
Wat de Micro F1-scores laten zien
AWS rapporteerde de volgende Micro F1-scores voor dezelfde evaluatieset van 356 VAE-afbeeldingen:
| Model | Promptversie | Micro F1 |
| Llama 4 Maverick 17B Instruct | v27_PF | 0,80 |
| proprietary model A | v22 | 0,56 |
De vergelijking gebruikt niet alleen verschillende modellen, maar ook verschillende prompts. De set bevat bovendien de 256 afbeeldingen waarop prompts waren afgestemd. Llama kreeg meerdere afstemmingsrondes en aanvullende regels van Property Finder; proprietary model A kreeg één afstemmingsronde. AWS noemde de scores daarom optimistisch. De uitkomst beschrijft deze evaluatie van vastgoedfoto’s uit de VAE, niet een algemene rangorde van visionmodellen.
Ook een totaalscore verbergt verschillen tussen taken. Voor Llama v27_PF rapporteerde AWS op dezelfde set een exact-match accuracy van 100% voor rotatiedetectie, tegenover 55% voor het uitlezen van watermerktekst. De twee percentages meten afzonderlijke kenmerken, niet dezelfde prestatie op één taak.
Promptregels en een aanpak die niet werkte
De prompt werd iteratief aangepast van v0 tot v27. De teams voegden onder meer regels toe voor kamers die door deuropeningen zichtbaar zijn, decoratieve Arabische tekst die op een watermerk kan lijken, renders, kaders en gangen. Voor fotoclassificatie werd in v27 de promptoptimalisator MIPROv2 gebruikt.
Een ontwerp met twee aparte API-aanroepen, waarbij watermerken in een eigen ‘bucket’ vielen, leverde volgens AWS geen betekenisvolle nauwkeurigheidswinst op. De detectie van ingelijste afbeeldingen verslechterde: zonder de watermerkkenmerken in dezelfde prompt kon een watermerkoverlaag voor een rand of kader worden aangezien.
De kosten- en latencycijfers
AWS schatte de verwerking met Llama in december 2025 op 2,35 Amerikaanse dollar per 1.000 afbeeldingen voor US East (Ohio). De berekening ging uit van 9.000 invoertokens en 200 uitvoertokens per afbeelding. AWS beschouwde het bedrag als een bovengrens: de productieprompt gebruikte volgens het bedrijf ongeveer 7.500 tot 8.000 invoertokens in één aanroep.
De geschatte kosten lagen volgens AWS 86% lager dan bij de eerdere opzet. Die kostenvergelijking gebruikte de schatting voor de vorige opzet met prompt v21; de hierboven genoemde nauwkeurigheidsscore voor proprietary model A gebruikte v22. Property Finder meldde daarnaast dat de eigen monitoring een 40 tot 60% lagere inferentielatentie liet zien dan bij de vorige opzet.
