Dla rozróżnienia lasu od terenów nieleśnych ForTy v1 osiągnęło 95,5% dokładności ogólnej, a Wood Central podał 93,6% dla mapy JRC GFC2020 na tych samych 8 190 lokalizacjach walidacyjnych. To porównanie dotyczy wszystkich klas leśnych połączonych w jedną kategorię, a nie sześciu klas ForTy. Artykuł naukowy opisujący mapę i jej walidację podaje osobne wyniki dla innych zadań klasyfikacyjnych.
Wyniki zależą od porównywanego zadania
| Zadanie klasyfikacyjne | ForTy v1 | Mapa JRC, wynik podany przez Wood Central |
| Wszystkie klasy leśne łącznie wobec terenów nieleśnych | 95,5% | GFC2020: 93,6% |
| Cztery klasy typów lasu | 90,9% | GFT2020: 87,8% |
W obu porównaniach oceniano dokładność ogólną na tej samej próbie 8 190 lokalizacji. Różnica między wartościami 95,5% i 93,6% wynosi 1,9 punktu procentowego. Drugi wiersz dotyczy odrębnego podziału na cztery klasy i mapy JRC Global Forest Types 2020 (GFT2020), więc jego wyników nie należy łączyć z porównaniem lasu i terenów nieleśnych.
Co oznacza 95,5%, a co 90,2%?
Wynik 95,5% odnosi się do zadania binarnego: wszystkie cztery klasy leśne ForTy zestawiono razem i porównano z terenami nieleśnymi. W pełnym, sześcioklasowym podziale dokładność ogólna wyniosła 90,2%. Dla osobnego zadania, w którym las naturalny porównano z pozostałymi terenami, ForTy uzyskało 94,8%. Każda z tych wartości opisuje inny podział mapy.
Walidacja zaczęła się od warstwowej próby 9 100 lokalizacji. Dla 8 190 uzyskano etykiety uzgodnione przez ekspertów; w ocenie każdej lokalizacji wykorzystano środkowy piksel o wymiarach 10 × 10 metrów. Przy wynikach 95,5% i 90,2% błąd standardowy wyniósł 0,3 punktu procentowego.
ForTy v1 to globalna mapa z rokiem bazowym 2020 i rozdzielczością 10 metrów. Jej sześć klas to las pierwotny, las regenerujący się naturalnie, las sadzony, las plantacyjny, uprawy drzewne i agroleśnictwo oraz pozostałe tereny. Wcześniejsze omówienie wyniku 90,2% dla ForTy wyjaśnia dokładność sześciu klas; tutaj kluczowe jest odróżnienie jej od wyników dla zadań binarnych i porównań z mapami JRC.
Wyniki różnią się między typami lasu
W sześcioklasowej ocenie wynik F1 dla lasu sadzonego wyniósł 58,2%, a dla lasu pierwotnego 82,9%. To pokazuje, że wynik ogólny nie opisuje jednakowo wszystkich kategorii. Rozróżnianie typów lasu bywa trudniejsze, gdy obraz satelitarny nie ujawnia historii zarządzania terenem.
Autorzy zastosowali próg 40-letniego cyklu rotacji jako uproszczone kryterium oddzielające las sadzony od plantacyjnego. Zaznaczają, że takie kryterium może nie pasować do części systemów gospodarowania lasem. Ponadto niedawno wycięty fragment plantacji może na mapie z jednego roku trafić do kategorii „Pozostałe tereny”, choć tymczasowo pozbawiony drzew obszar może nadal spełniać definicję lasu FAO. Mapa łączy też „inne tereny zadrzewione” z kategorią „Pozostałe”.
Wartości ufności nie są prawdopodobieństwami
ForTy przypisuje pikselom względne wartości ufności uzyskane przez uśrednienie wyników zespołu modeli. Nie są one skalibrowanymi prawdopodobieństwami, więc wartość dla piksela nie określa bezpośrednio szansy, że jego klasa jest poprawna.
Zmiana progu klasyfikacji zmienia kompromis między precyzją a czułością. Wyższy próg sprzyja precyzji, czyli ograniczaniu błędnych wskazań danej klasy; niższy sprzyja czułości, czyli wykrywaniu większej części jej rzeczywistych przypadków. Autorzy wskazują, że dobór progów w zastosowaniu regionalnym można oceniać na lokalnych danych walidacyjnych.
