AWS zufolge stammten 96,8 Prozent der früheren Bewertungslabels von Property Finder aus Vorhersagen des eingesetzten Modells. Damit mussten sich alternative Modelle an den Ergebnissen ihres Vorgängers messen lassen, statt an unabhängig geprüften Bildmerkmalen. Für einen später neu aufgebauten Test mit Immobilienbildern aus den Vereinigten Arabischen Emiraten meldete AWS höhere Micro-F1-Werte für Llama 4 Maverick 17B Instruct als für das bisherige Modell. Die Testbedingungen begrenzen jedoch, was sich aus diesem Vergleich ableiten lässt.
Wie das bisherige Modell zum Maßstab wurde
Property Finder verarbeitet laut AWS täglich Zehntausende Immobilienbilder. Der Arbeitsablauf bewertet elf Merkmale pro Bild, darunter Wasserzeichen, Raumtyp, Möblierung und Bildqualität. Die früheren Referenzlabels stammten zu 96,8 Prozent von den Vorhersagen des eingesetzten Vision-Language-Modells. Nur 3,2 Prozent waren von Menschen beschriftet.
Diese menschlichen Labels waren ebenfalls nicht durchweg passend: AWS nennt fehlerhaft erkannte Wasserzeichen und die Kategorie „Office“, die im Prompt gar nicht vorgesehen war. Eine Einzelauswahl für den Raumtyp konnte außerdem Bilder mit mehreren Raumarten nicht angemessen abbilden. Wurde die Vorhersage des alten Modells selbst zur Antwort, bewertete der Benchmark vor allem, ob ein Ersatzmodell diesem Verhalten ähnelte.
Wie Property Finder die Referenzlabels neu aufbaute
Für den überarbeiteten Test annotierte eine Fachperson 356 Bilder aus den Vereinigten Arabischen Emiraten unabhängig von den früheren Modellvorhersagen. Das AWS Generative AI Innovation Center prüfte die Labels und klärte mehrdeutige Fälle. Die ersten 256 Bilder dienten der Entwicklung; weitere 100 kamen nach den Entwicklungsdurchläufen hinzu.
Bei Raum- und Fotoklassifikationen wechselte das Team für Bilder mit überlappenden Inhalten zu Mehrfachlabels. So konnten mehrere zutreffende Kategorien für ein Bild erfasst werden, statt es auf eine einzige Raumart zu reduzieren.
Was die Micro-F1-Werte aussagen
Micro F1 fasst Präzision und Trefferquote über die ausgewerteten Vorhersagen zusammen. Für denselben Satz von 356 Bildern aus den Vereinigten Arabischen Emiraten berichtete AWS folgende Werte:
| Modell | Promptversion | Micro F1 |
| Llama 4 Maverick 17B Instruct | v27_PF | 0,80 |
| proprietary model A | v22 | 0,56 |
Der Vergleich war nicht gleichmäßig angelegt: Der Testsatz enthielt die 256 Entwicklungsbilder, mit denen Prompts abgestimmt worden waren. Llama erhielt zudem mehrere Tuning-Runden und zusätzliche Regeln von Property Finder; proprietary model A erhielt eine Tuning-Runde. AWS bezeichnet die Ergebnisse deshalb als optimistisch. Die Zahlen beschreiben diesen Immobilienbild-Test, nicht eine allgemeine Rangfolge von Vision-Modellen.
Welche Promptänderungen halfen und welcher Ansatz scheiterte
Das Team passte die Prompts schrittweise an typische Bildfälle an. Die Regeln behandelten unter anderem Räume, die durch Türöffnungen sichtbar sind, dekorative arabische Schriftzüge, Renderings, Bildrahmen und Korridore. Für die Fotoklassifikation kam in v27 außerdem MIPROv2 zum Einsatz.
Ein Ansatz mit zwei getrennten Aufrufen, der Wasserzeichenmerkmale von den übrigen Merkmalen abspaltete, brachte laut AWS keinen nennenswerten Genauigkeitsgewinn. Zugleich sank die Erkennung gerahmter Bilder: Ohne die Wasserzeichenmerkmale im Prompt wurden Wasserzeichen-Überlagerungen eher als Rahmen eingeordnet.
Kosten- und Latenzangaben aus dem Fall
AWS schätzte im Dezember 2025 für die Region US East (Ohio) Kosten von 2,35 US-Dollar je 1.000 Bilder für Llama 4 Maverick 17B Instruct. Die Schätzung beruhte auf 9.000 Eingabetokens und 200 Ausgabetokens pro Bild in der ursprünglichen Analyse. AWS ordnete sie als obere Schätzung ein: Der Produktionsprompt nutzte laut Fallbeschreibung in einem einzelnen Aufruf etwa 7.500 bis 8.000 Eingabetokens.
Die ebenfalls genannte Kostensenkung von 86 Prozent bezog sich auf die frühere Kostenschätzung mit Prompt v21. Der Micro-F1-Vergleich stellte dagegen Llama mit v27_PF dem proprietary model A mit v22 gegenüber; dessen Kosten könnten laut AWS von der verwendeten v21-Schätzung abweichen. Property Finder meldete aus der eigenen Produktionsüberwachung außerdem eine um 40 bis 60 Prozent niedrigere Inferenzlatenz als beim vorherigen Setup.
