FOI obtuvo una precisión media (AP) del 72,5 % para la clase pistola con WiFi-regular al evaluar con un umbral de intersección sobre unión (IoU) del 25 %; con IoU del 50 %, la AP fue del 53,8 %. Son dos resultados de la misma configuración y la misma clase, no dos pruebas distintas de detección y localización. El estudio evaluó WiFireNet en salas interiores controladas, con señales de información del estado del canal Wi-Fi (CSI). (Estudio de FOI)
Qué miden las cifras
La AP resume el rendimiento del detector para una clase; no es una medida de exactitud global. IoU, o intersección sobre unión, mide cuánto se solapan las cajas delimitadoras previstas y las de referencia. Al pasar del umbral del 25 % al del 50 %, se exige un solapamiento mayor. Por eso, el 53,8 % no representa una tarea aparte para señalar con más precisión el arma sobre quien la lleva: es la AP de la clase pistola con un umbral IoU más exigente.
| Configuración del estudio | AP de la clase pistola con IoU del 25 % | AP de la clase pistola con IoU del 50 % |
| WiFi-regular, sala grande | 72,5 % | 53,8 % |
| WiFi-plus, sala grande | 44,2 % | 44,2 % |
| WiFi-plus, sala pequeña | 40,4 % | 40,4 % |
| WiFi-plus, sala grande, con un máximo de dos personas | 29,6 % | 27,3 % |
La tabla compara AP de la clase pistola, no el promedio de todas las categorías. Para WiFi-regular en la sala grande, la precisión media promedio (mAP) de todas las clases fue del 50,3 % con IoU del 25 % y del 47,1 % con IoU del 50 %. AP de pistola y mAP responden a medidas distintas.
Salas, personas y división de los datos
El ensayo incluyó una sala de 12 m² con hasta cuatro personas en movimiento y otra de 8 m² con hasta dos. Como máximo, una persona por escena llevaba una pistola metálica oculta y desactivada. Las categorías evaluadas también incluían una pistola de plástico, una botella metálica y un teléfono móvil.
Los conjuntos WiFi-regular y WiFi-plus de la sala grande reunieron alrededor de 100.000 muestras CSI cada uno; el conjunto de la sala pequeña tuvo 40.000. La división se hizo por muestra individual: la mitad se destinó al entrenamiento y la otra mitad a la prueba. Además, se reservó el 20 % de la parte de entrenamiento para validación. Así, las cifras describen estos conjuntos y estas condiciones de sala; el diseño no equivale a probar el sistema en edificios distintos como grupos de evaluación separados.
Vídeo en el entrenamiento, CSI en la inferencia
El sistema procesó CSI para inferir la clase de objeto. Durante la recogida de datos, los investigadores también grabaron vídeo RGB a 30 fotogramas por segundo para etiquetar las escenas y entrenar un modelo visual que ayudó al aprendizaje; las ráfagas CSI se capturaron a 80 Hz. La inferencia de WiFireNet se realizó solo con CSI.
La captura de radio empleó una implementación modificada de IEEE 802.11a, con una frecuencia de 5,68 GHz y un ancho de banda de 20 MHz. Las puntuaciones, por tanto, corresponden a ese método y a los escenarios interiores descritos por el estudio.
