Pour la classification forêt/non-forêt, ForTy affiche une exactitude globale de 95,5 % ; Wood Central rapporte 93,6 % pour la carte GFC2020 du Centre commun de recherche (JRC), sur les mêmes 8 190 sites. Cet écart de 1,9 point concerne cette tâche et cet échantillon. Il ne résume pas les performances des différentes classes forestières. L’étude publiée dans Scientific Data présente aussi plusieurs mesures distinctes.
ForTy face aux cartes du JRC, tâche par tâche
Les chiffres ne sont comparables que lorsque les cartes répondent à la même question de classement. Les valeurs du JRC dans le tableau sont celles rapportées par Wood Central.
| Tâche évaluée | ForTy v1 | Carte du JRC |
| Forêt ou non-forêt | 95,5 % | GFC2020 : 93,6 % |
| Comparaison à quatre classes de types forestiers | 90,9 % | GFT2020 : 87,8 % |
La seconde ligne porte sur une autre classification : forêt primaire, forêt en régénération naturelle, forêt plantée et autres terres. Pour obtenir ce regroupement, ForTy fusionne les catégories « forêt plantée » et « forêt de plantation », et classe les cultures d’arbres et l’agroforesterie dans « autres terres ». Les résultats de cette ligne ne mesurent donc pas la même chose que ceux de la comparaison forêt/non-forêt.
Ce que mesure le score de 95,5 %
ForTy v1 est une carte mondiale de 2020, à une résolution de 10 mètres. Pour évaluer sa précision, l’étude a commencé par tirer 9 100 sites selon un échantillonnage stratifié ; 8 190 ont reçu une classification établie par consensus d’experts. Le calcul reposait sur le pixel central de 10 × 10 mètres de chaque site.
Le score de 95,5 % regroupe les quatre classes forestières face aux terrains non forestiers. Pour les six classes séparées, l’exactitude globale stratifiée de ForTy est de 90,2 % (erreur type de 0,3 %). Une autre tâche, qui distingue la forêt naturelle de toutes les autres terres, atteint 94,8 % (erreur type de 0,3 %). Ces trois chiffres décrivent des regroupements différents.
NeoTeo a déjà détaillé ce que signifie le score de 90,2 % de ForTy. Ici, le point clé est le périmètre : 95,5 % ne correspond ni à l’exactitude des six classes, ni à la probabilité qu’un pixel particulier soit correctement classé.
Les résultats varient selon les types de forêt
L’exactitude globale à six classes ne décrit pas aussi bien chaque catégorie. Le score F1, qui combine précision et rappel, atteint 82,9 % pour la forêt primaire, 72,6 % pour la forêt en régénération naturelle, 66,7 % pour la forêt de plantation et 58,2 % pour la forêt plantée. Le score plus faible de cette dernière reflète la difficulté à la distinguer, à partir des observations satellitaires, des forêts en régénération naturelle et des plantations.
Pour comprendre la comparaison, il faut donc associer chaque chiffre à la tâche qui l’a produit. Le résultat forêt/non-forêt répond à une question plus large que la séparation des six types ; le score de 58,2 % montre à son tour qu’un résultat global ne suffit pas à juger une classe particulière.
Ce que changent les scores de confiance
ForTy fournit des scores relatifs de confiance pour ses classes. Ils sont calculés à partir de sorties moyennées de plusieurs modèles, mais n’ont pas été calibrés a posteriori en probabilités. Un score ne se lit donc pas comme la probabilité qu’un pixel appartienne à une classe.
Les utilisateurs peuvent relever le seuil exigé pour retenir une classe : cela favorise la précision utilisateur, en limitant les fausses inclusions, au prix d’une baisse du rappel. Un seuil plus bas favorise le rappel et réduit les omissions. Les auteurs recommandent d’évaluer les seuils à l’aide de données de validation locales lorsque l’application le nécessite.
