Nel caso di studio pubblicato il 27 ottobre 2026, AWS ha riferito che il 96,8% delle etichette usate in precedenza da Property Finder proveniva dalle previsioni del modello già in uso. Il benchmark rischiava così di premiare le alternative che riproducevano il comportamento di quel modello, invece di misurare la loro corrispondenza con etichette stabilite in modo indipendente.
Quando il modello diventa il proprio metro di giudizio
Un’etichetta di riferimento è la risposta usata per confrontare la previsione di un modello. Se quasi tutte queste risposte derivano dalle previsioni del modello incumbent, il confronto riflette in larga misura ciò che quel modello avrebbe risposto. Non garantisce che le etichette rappresentino la classificazione corretta delle immagini.
Anche il restante 3,2% di etichette umane aveva problemi. AWS segnala, per esempio, errori nell’interpretazione dei watermark e una classificazione a etichetta singola incapace di rappresentare più tipi di stanza nella stessa immagine. Una categoria “Office” era stata accettata benché non comparisse nel prompt.
Come Property Finder ha ricostruito le etichette
Per rifare il benchmark, un esperto ha annotato 356 immagini immobiliari degli Emirati Arabi Uniti senza consultare le precedenti previsioni dei modelli. Il team dell’AWS Generative AI Innovation Center ha controllato la qualità delle etichette e chiarito i casi ambigui. Le prime 256 immagini sono servite per lo sviluppo; altre 100, annotate in seguito, sono state aggiunte alla valutazione finale.
La classificazione di stanze e fotografie è passata da etichette singole a etichette multiple, così da poter descrivere contenuti sovrapposti nella stessa immagine. Questa modifica ha cambiato anche il lavoro sui prompt, cioè le istruzioni date al modello: le versioni successive hanno aggiunto regole specifiche per elementi come rendering, cornici e corridoi.
Che cosa mostrano i punteggi Micro F1
Sul set finale di 356 immagini, AWS riporta i seguenti punteggi Micro F1:
| Modello | Versione del prompt | Micro F1 su 356 immagini degli Emirati Arabi Uniti |
| Llama 4 Maverick 17B Instruct | v27_PF | 0,80 |
| proprietary model A | v22 | 0,56 |
Il punteggio più alto di Llama va letto insieme a due condizioni: il set finale comprende le 256 immagini già usate per lo sviluppo dei prompt e Llama ha ricevuto più cicli di ottimizzazione e regole aggiuntive di Property Finder rispetto al modello A, che ha avuto un solo ciclo. AWS definisce perciò ottimistici i risultati. Il confronto descrive questo specifico carico di lavoro, non una prestazione generale dei modelli di visione.
AWS riporta anche, per Llama con v27_PF, un’accuratezza della corrispondenza esatta del 100% nel rilevamento della rotazione e del 55% nell’estrazione del testo dei watermark. Nel complesso, l’azienda afferma che il modello ha eguagliato o superato proprietary model A sugli 11 attributi, con un pareggio nella classificazione multilabel delle foto. Anche questi risultati appartengono alla valutazione descritta e alle sue condizioni.
Le regole del prompt cambiarono il risultato
Il lavoro sui prompt è passato dalla versione v0 alla v27. La versione v27_PF includeva regole di Property Finder per rendering, bordi o cornici e corridoi; altri aggiustamenti affrontavano immagini con stanze visibili attraverso una porta e testi decorativi in arabo che potevano sembrare watermark. Per la classificazione delle foto, la versione v27 ha usato l’ottimizzatore MIPROv2.
Un approccio alternativo, chiamato “2-bucket”, separava gli attributi dei watermark dagli altri in due chiamate al modello. AWS riferisce che non portò un aumento significativo dell’accuratezza e ridusse il rilevamento delle immagini incorniciate: senza gli attributi relativi ai watermark nello stesso prompt, le sovrapposizioni potevano essere scambiate per bordi.
Le stime di costo e latenza
Per dicembre 2025 e la regione statunitense US East (Ohio), AWS stimava un costo di 2,35 dollari statunitensi ogni 1.000 immagini per Llama e una riduzione dell’86% rispetto alla stima del sistema precedente. Il calcolo iniziale ipotizzava 9.000 token in ingresso e 200 in uscita per immagine. AWS lo definiva una stima massima: il prompt di produzione, eseguito in una sola chiamata, usava circa 7.500–8.000 token in ingresso.
La riduzione dei costi era calcolata sulla stima del sistema precedente con v21; il confronto di Micro F1 riportato sopra usa invece proprietary model A con v22. Sono basi di confronto diverse. Separatamente, Property Finder ha riferito che il proprio monitoraggio in produzione rilevava una latenza di inferenza inferiore del 40–60% rispetto al sistema precedente.
