W kontrolowanym badaniu Swedish Defence Research Agency (FOI) model WiFireNet uzyskał dla klasy ukrytego pistoletu średnią precyzję (AP) 72,5% przy progu IoU 25% i 53,8% przy 50%. To dwa wyniki tej samej konfiguracji i klasy obiektów, a nie osobne pomiary wykrycia i precyzyjnego wskazywania broni. Badanie FOI opisuje eksperymenty w pomieszczeniach, nie działający system ochrony obiektów.
Co oznaczają wyniki WiFireNet
AP, czyli średnia precyzja, opisuje jakość wykrywania danej klasy obiektów. IoU (intersection over union) mierzy nakładanie się przewidywanej i referencyjnej ramki ograniczającej. Przy progu 50% ramki muszą pokrywać się dokładniej niż przy 25%, dlatego wynik 53,8% nie oznacza osobnego testu lokalizowania broni na ciele człowieka.
| Konfiguracja badania | AP pistoletu przy IoU 25% | AP pistoletu przy IoU 50% |
| WiFi-plus, większe pomieszczenie | 44,2% | 44,2% |
| WiFi-regular, większe pomieszczenie | 72,5% | 53,8% |
| WiFi-plus, mniejsze pomieszczenie | 40,4% | 40,4% |
| WiFi-plus, większe pomieszczenie, maksymalnie dwie osoby | 29,6% | 27,3% |
W większym pomieszczeniu WiFi-regular uzyskał wyższe AP klasy pistoletu niż WiFi-plus przy obu progach IoU. Są to wyniki dla tej konkretnej klasy, nie ogólna średnia dla wszystkich rozpoznawanych obiektów.
Jak przebiegał eksperyment
Badacze testowali model w dwóch kontrolowanych przestrzeniach: większej o powierzchni 12 m², gdzie poruszało się do czterech osób, oraz mniejszej o powierzchni 8 m², z udziałem najwyżej dwóch osób. W danej scenie ukryty, zdezaktywowany metalowy pistolet nosiła najwyżej jedna osoba. Pozostałe klasy obejmowały plastikowy pistolet, metalową butelkę i telefon komórkowy.
WiFi-regular i WiFi-plus miały po około 100 tys. próbek CSI; zbiór z mniejszego pomieszczenia liczył 40 tys. Badacze podzielili próbki CSI na zbiór treningowy i testowy po połowie, a 20% części treningowej przeznaczyli na walidację. Test dotyczył więc opisanych warunków eksperymentalnych.
System korzystał ze zmodyfikowanej, otwartej implementacji IEEE 802.11a o częstotliwości 5,68 GHz i szerokości pasma 20 MHz. WiFi-regular wykorzystywał cztery podnośne pilotujące; WiFi-plus — 48 z 52. W tych eksperymentach dodatkowe podnośne nie przyniosły wyraźnej poprawy wyników bazowych.
Kamery w treningu, CSI przy wnioskowaniu
CSI, czyli informacja o stanie kanału Wi-Fi, opisuje zmiany sygnału radiowego podczas jego przechodzenia przez przestrzeń. To właśnie te dane model analizował podczas wnioskowania. Nagrania RGB służyły do opisywania próbek i treningu modelu-wzorca w procedurze uczenia z różnych modalności; według badania na etapie wnioskowania używano już wyłącznie CSI.
