ForTy komt uit op 95,5% nauwkeurigheid wanneer alle bosklassen samen worden afgezet tegen niet-bos. Voor de JRC-kaart GFC2020 rapporteert Wood Central 93,6% op dezelfde 8.190 validatielocaties. Die vergelijking gaat over bos tegenover niet-bos; bij een vergelijking van bossoorten zijn de scores anders.
| Classificatietaak | ForTy v1 | JRC-kaart, cijfer gerapporteerd door Wood Central |
| Bos tegenover niet-bos, GFC2020 | 95,5% | 93,6% |
| Vergelijking van vier bosklassen, GFT2020 | 90,9% | 87,8% |
De cijfers horen bij verschillende classificatietaken
De cijfers van ForTy komen uit een onafhankelijke, wereldwijd gestratificeerde validatie. De onderzoekers selecteerden aanvankelijk 9.100 locaties; 8.190 daarvan kregen een label waarover experts overeenstemming bereikten. Voor de nauwkeurigheidsberekening telde op elke locatie de centrale pixel van 10 bij 10 meter mee. Het artikel in Scientific Data rapporteert 90,2% algemene nauwkeurigheid voor de indeling in zes klassen, 94,8% voor natuurlijk bos tegenover alle andere landbedekking en 95,5% voor alle bosklassen samen tegenover niet-bos.
De 95,5% is dus geen score voor elk van de zes klassen afzonderlijk. ForTy onderscheidt primair bos, natuurlijk regenererend bos, aangeplant bos, plantagebos, boomgewassen en agroforestry, en overig land. In onze eerdere uitleg van de score van 90,2% staat die zesklassenscore centraal; hier gaat het om de vergelijking met de JRC-kaarten.
De cijfers 93,6% voor JRC GFC2020 en 87,8% voor JRC GFT2020 zijn door Wood Central gerapporteerd. De eerste hoort bij de taak bos tegenover niet-bos. De tweede hoort bij de afzonderlijke vergelijking van vier bosklassen met JRC GFT2020. De gerapporteerde verschillen met ForTy zijn respectievelijk 1,9 en 3,1 procentpunt op die validatieset.
De score hangt ook af van de bosklasse
Een totaalscore kan verschillen tussen klassen verbergen. Voor aangeplant bos rapporteert het wetenschappelijke artikel bijvoorbeeld een F1-score van 58,2%, de laagste F1-score onder ForTy’s bosklassen. De F1-score combineert precisie en terugvindpercentage tot één maat; ze is niet hetzelfde als de algemene nauwkeurigheid.
Een deel van de classificatie berust op managementgeschiedenis, die satellietbeelden niet rechtstreeks vastleggen. Om aangeplant bos te onderscheiden van plantagebos gebruiken de onderzoekers een rotatiedrempel van 40 jaar als praktische benadering. Ze beschrijven die grens als een vereenvoudiging die in verschillende bosbouwsystemen tot verkeerde indelingen kan leiden.
Vertrouwensscores zijn geen kansen
ForTy levert per klasse relatieve vertrouwensscores. Die zijn gebaseerd op het gemiddelde van softmax-uitkomsten van meerdere modellen, maar zijn niet achteraf gekalibreerd als waarschijnlijkheden. Een score van bijvoorbeeld een bepaalde waarde is daarom niet gelijk aan diezelfde kans dat één pixel correct is ingedeeld.
Gebruikers kunnen een drempel instellen voor de score die een klasse moet halen. Een hogere drempel legt meer nadruk op gebruikersnauwkeurigheid, oftewel het aandeel toegewezen pixels dat correct is, en kan het terugvindpercentage verlagen. Een lagere drempel vangt meer locaties van een klasse, maar kan ook meer onjuiste toewijzingen opleveren. De onderzoekers adviseren drempels zo nodig te beoordelen met lokale validatiegegevens.
