Les chercheurs de la Swedish Defence Research Agency (FOI) ont obtenu une précision moyenne (AP) de 72,5 % à 25 % d’IoU et de 53,8 % à 50 % d’IoU pour la classe « arme de poing » avec WiFi-regular. Ces deux scores proviennent d’essais contrôlés en intérieur et mesurent la même classe d’objets à deux seuils de recouvrement différents (étude de la FOI).
Ce que mesurent les scores
L’AP, pour average precision ou précision moyenne, résume les performances de détection selon différents niveaux de rappel. L’IoU, pour intersection over union, mesure le chevauchement entre une boîte de détection et la boîte de référence. Le seuil de 50 % exige donc un recouvrement plus important que celui de 25 % : 53,8 % est le score AP de la classe arme de poing à ce seuil, pas le résultat d’une seconde tâche de localisation.
| Configuration testée | AP de la classe arme de poing à 25 % IoU | AP de la classe arme de poing à 50 % IoU |
| WiFi-plus, grande salle | 44,2 % | 44,2 % |
| WiFi-regular, grande salle | 72,5 % | 53,8 % |
| WiFi-plus, petite salle | 40,4 % | 40,4 % |
| WiFi-plus, grande salle, deux personnes au maximum | 29,6 % | 27,3 % |
Les résultats varient selon la configuration et la taille du groupe. Le score de WiFi-regular concerne la grande salle; les trois autres lignes rapportent des conditions WiFi-plus distinctes, dont un sous-ensemble limité à deux personnes.
Les salles et les données de l’expérience
L’équipe a recueilli des données dans une salle de 12 m² où jusqu’à quatre personnes se déplaçaient, et dans une salle de 8 m² accueillant jusqu’à deux personnes. Dans chaque scène, au plus une personne portait une arme de poing métallique désactivée et dissimulée. Les objets étudiés comprenaient aussi une arme de poing en plastique, une bouteille métallique et un téléphone mobile.
Les jeux de données WiFi-plus et WiFi-regular de la grande salle comptaient chacun environ 100 000 échantillons CSI; celui de la petite salle en comptait 40 000. Les chercheurs ont réparti les échantillons individuellement entre entraînement et test, à parts égales. Ils ont utilisé 20 % de la partie entraînement pour la validation.
Le système s’appuie sur les informations d’état du canal Wi-Fi, ou CSI (channel state information), qui décrivent les variations du signal radio. La collecte reposait sur une version modifiée de la norme IEEE 802.11a, à 5,68 GHz et avec une largeur de bande de 20 MHz.
Vidéo RGB pour préparer le modèle, CSI pour l’inférence
La vidéo RGB a servi à annoter les données et à entraîner un modèle enseignant fondé sur la vision. Pour l’inférence — l’étape où le modèle traite de nouvelles données — l’étude indique que WiFireNet utilise uniquement le CSI. Le rôle de la vidéo dans la préparation du système est donc distinct de l’entrée employée pour ses détections.
