ORISA is een forensisch raamwerk dat verwijderde gesprekscontext reconstrueert uit procesgeheugen van lokale Android-apps met grote taalmodellen. De onderzoekers beschrijven herstel van tokens en KV-caches die daar zijn bewaard, gevolgd door het opnieuw hosten van de sessie. De resultaten gaan over lokale apps, niet over een universele manier om verwijderde AI-chats terug te halen.
Hoe ORISA een lokale sessie reconstrueert
ORISA gebruikt batchtokens en KV-caches uit het procesgeheugen van een lokale taalmodelapp. Een KV-cache is een geheugenstructuur met key-value-gegevens die bij de verwerking van een sessie worden gebruikt. ORISA reconstrueert er tokenreeksen mee en herstelt de aandachtsstatussen van de sessie. Zo ontstaat een opnieuw gehoste sessie die niet aan de oorspronkelijke app is gebonden.
Wat de Project Note Keeper-demonstratie liet zien
Georgia Tech beschreef een demonstratie met Project Note Keeper, een fictieve assistent in de Android-app ChatterUI. De onderzoekers gaven de assistent 100 fictieve projectfeiten en verwijderden daarna het gesprek. De oorspronkelijke sessie kon nog bij 14 feiten; de opnieuw gehoste sessie gaf er 26 terug toen de onderzoekers vroegen om de projectnotities op te sommen.
| Sessie in de demonstratie | Feiten uit de 100 aangeleverde | Wat de telling weergeeft |
| Oorspronkelijke sessie | 14 | Feiten waartoe deze sessie nog toegang had |
| Opnieuw gehoste sessie | 26 | Feiten die deze sessie teruggaf |
Deze tellingen horen bij één demonstratie met een fictieve assistent. Ze geven geen algemeen herstelpercentage voor verwijderde chats.
Wat de evaluatie van ORISA omvatte
Het IEEE-artikel meldt dat ORISA is geëvalueerd met 60 sessieconfiguraties, 10 lokale Android-LLM-apps en drie modelarchitecturen. In het actieve contextvenster werd volgens het artikel 100% van de tokens en KV-cache-tensors teruggevonden. De opnieuw gehoste sessies lieten gemiddeld 169,6% kennis zien ten opzichte van de oorspronkelijke sessie.
Die evaluatie gaat over lokale apps en gegevens in hun procesgeheugen. Chatgeschiedenis die bij een clouddienst staat, viel buiten deze onderzochte opzet.
Bij de onderzochte lokale apps kan na het verwijderen van een gesprek nog informatie in procesgeheugen staan. Georgia Tech zegt dat gewone activiteit op de telefoon dat geheugen kan overschrijven, waardoor herstel moeilijker wordt.
