Wood Central berichtet für den Vergleich von Wald und Nichtwald eine Gesamtgenauigkeit von 95,5 Prozent für ForTy und 93,6 Prozent für JRC GFC2020. Beide Werte beziehen sich auf dieselben 8.190 Validierungsstandorte; der Abstand beträgt 1,9 Prozentpunkte. Die Zahlen gelten für diese Klassifikationsaufgabe und diesen Prüfsatz.
Was der Kartenvergleich zeigt
| Klassifikationsaufgabe | ForTy v1 | JRC-Karte und berichteter Wert |
| Wald gegen Nichtwald | 95,5 % | GFC2020: 93,6 %, von Wood Central berichtet |
| Vergleich von vier Waldklassen | 90,9 % | GFT2020: 87,8 %, von Wood Central berichtet |
Der erste Vergleich fasst ForTys vier Waldklassen zu einer Gruppe zusammen und stellt sie Nichtwald gegenüber. Der zweite betrifft eine andere Aufgabe: den Vergleich von vier Klassen mit JRC Global Forest Types 2020 (GFT2020). Die JRC-Werte in beiden Zeilen berichtete Wood Central. Die ForTy-Methodik und die eigenen Genauigkeitswerte des Projekts beschreibt der Datenartikel in Scientific Data.
Was ForTys Genauigkeitswerte messen
ForTy v1 ist eine globale Karte für das Jahr 2020 mit einer räumlichen Auflösung von zehn Metern. Sie unterscheidet sechs Kategorien: Primärwald, natürlich regenerierenden Wald, gepflanzten Wald, Plantagenwald, Baumkulturen und Agroforstwirtschaft sowie sonstige Flächen.
Die Zahl von 95,5 Prozent ist nicht die Gesamtgenauigkeit dieser sechs Klassen. Für das vollständige Sechs-Klassen-Schema weist das Fachpapier 90,2 Prozent aus. Bei der gesonderten Aufgabe, natürlichen Wald von sonstigem Land abzugrenzen, beträgt der Wert 94,8 Prozent. Eine ausführlichere Einordnung der 90,2 Prozent bietet unser früherer Beitrag zur Sechs-Klassen-Genauigkeit von ForTy.
Für die Validierung wählten die Forschenden zunächst 9.100 Standorte in einer global stratifizierten Stichprobe aus. An 8.190 Standorten erzielten Fachleute eine übereinstimmende Klassifizierung. In die jeweilige Bewertung ging das zentrale 10 × 10-Meter-Pixel jedes Standorts ein. Damit beziehen sich die Genauigkeitswerte auf diese geprüften Pixel und die jeweils angegebene Klassifikationsaufgabe.
Waldklassen lassen sich unterschiedlich sicher zuordnen
Auch innerhalb des Sechs-Klassen-Schemas unterscheiden sich die Ergebnisse. Der F1-Wert für gepflanzten Wald liegt bei 58,2 Prozent. Satellitenbilder machen es also nicht für jede Klasse gleich leicht, die Zuordnung zu treffen. ForTy kann zudem eine kürzlich abgeerntete Plantage als sonstige Fläche klassifizieren: Kahler Boden kann nach der FAO-Definition weiterhin Wald sein. Auch „sonstiges bewaldetes Land“ fällt in ForTy unter die Kategorie „sonstige Flächen“.
Was die Konfidenzwerte bei der Nutzung bedeuten
ForTy gibt relative Konfidenzwerte für die Klassen aus. Sie beruhen auf gemittelten Softmax-Ausgaben des Modells, wurden aber nicht nachträglich kalibriert. Ein Wert ist daher keine kalibrierte Wahrscheinlichkeit dafür, dass ein einzelner Kartenpixel richtig klassifiziert wurde.
Ein höherer Schwellenwert begünstigt die Nutzer-Genauigkeit, also die Präzision der ausgewählten Zuordnungen. Ein niedrigerer Schwellenwert begünstigt die Produzenten-Genauigkeit, also den Recall beziehungsweise die Erfassung der relevanten Fälle. Wer die Schwelle für einen bestimmten Einsatz festlegt, kann sie anhand lokaler Validierungsdaten prüfen.
