Una spiegazione generata da un sistema di IA descrive il suo output; da sola non documenta che cosa abbia fatto una persona. Per distinguere le azioni umane, Andreas Ehstand propone quattro categorie in un Internet-Draft individuale: osservazione, verifica, decisione e rilascio.
Una spiegazione dell’IA non documenta l’azione umana
La spiegazione di un sistema riguarda il modo in cui presenta o giustifica un risultato. Un registro di supervisione, invece, dovrebbe identificare l’azione compiuta dalla persona. Una voce generica come «controllato» non dice se qualcuno abbia soltanto visto l’output, ne abbia verificato una proprietà, abbia scelto come procedere o abbia autorizzato un’azione.
Quattro atti di supervisione
La terminologia proposta distingue atti che possono sembrare simili in un registro, ma documentano cose diverse.
| Atto | Che cosa documenta |
| Osservazione | La persona è stata esposta all’oggetto, per esempio a un risultato dell’IA. Non specifica che cosa abbia notato. |
| Verifica | La persona ha controllato se una proprietà definita in precedenza fosse vera. L’esito riguarda quella proprietà. |
| Decisione | La persona ha scelto una linea d’azione, per esempio usare, correggere, interrompere o sottoporre a revisione un risultato. Da sola, la decisione non documenta una verifica. |
| Rilascio | La persona ha permesso un’azione specifica nell’ambito di un’autorità che già possedeva. Il rilascio documenta il permesso, non la correttezza dell’azione o dei suoi presupposti. |
La distinzione è concreta: registrare una decisione non dimostra che il risultato sia stato controllato, mentre autorizzare un’azione non ne dimostra la correttezza.
Quali informazioni può identificare un registro
Nella definizione proposta da Ehstand, un registro deve poter essere attribuito alla persona che ha supervisionato e identificare chi ha agito, il tipo di atto, l’oggetto e il momento. Per una verifica, deve indicare anche la proprietà controllata e il relativo esito.
Così, «verifica completata» lascia fuori il punto decisivo: che cosa è stato verificato? Se il controllo riguardava, per esempio, una proprietà nominata dell’output, l’esito documenta quella proprietà, non ogni altro aspetto del risultato. Per un rilascio, indicare l’autorità e l’azione consentita aiuta a descrivere l’ambito del permesso.
Come valutare una verifica
Per capire che cosa rileva un passaggio di controllo, occorre specificare la popolazione di riferimento e le persone e condizioni coinvolte. La bozza distingue la capacità di rilevare gli errori dalla quota di casi segnalati: un processo che segnala ogni caso può intercettare tutti gli errori, ma non distingue quelli dagli esiti corretti. La bozza non prescrive un metodo di prova né una soglia.
Nel lavoro pubblicato il 24 ottobre 2022, Ben Green ha esaminato 41 politiche che richiedono supervisione umana per algoritmi governativi e sostiene che l’efficacia di questi requisiti debba poggiare su prove empiriche. Il suo articolo su arXiv non propone un tasso universale di efficacia della revisione umana.
Una proposta terminologica, non uno standard
Il documento di Ehstand è un Internet-Draft individuale con status informativo. Definisce termini, ma non specifica un protocollo, un formato di registro, una procedura, un metodo di misurazione o un’interpretazione giuridica. Le quattro categorie e i campi descritti sono quindi una proposta terminologica, non uno schema obbligatorio.
