L’IA migliora la redazione dei brevetti, ma la revisione senza IA favorisce i più esperti

Un esperimento randomizzato di tre mesi su 133 avvocati dei brevetti in 11 studi statunitensi ha rilevato punteggi più alti nei compiti simulati di redazione assistita dall’IA. Nella successiva revisione di un brevetto svolta senza IA, il vantaggio medio si è concentrato tra i professionisti con più esperienza; i junior non hanno registrato un guadagno medio.

Come si è svolto l’esperimento

Due terzi degli avvocati di ciascuno studio hanno ottenuto accesso anticipato a un assistente personalizzato per la redazione brevettuale. Il gruppo di controllo ha ricevuto formazione sull’uso dell’IA, ma non ha potuto usare lo strumento dello studio durante il periodo sperimentale.

Dopo 10 e 90 giorni, i partecipanti hanno redatto brevetti simulati a partire da materiali ipotetici forniti da inventori. Al giorno 90 hanno anche svolto una prova senza IA: la revisione e correzione di un brevetto ipotetico con errori, detta redlining.

Avvocati esperti in brevetti, all’oscuro dell’assegnazione dei partecipanti ai gruppi, hanno valutato gli elaborati secondo cinque criteri: validità dell’applicabilità dei diritti, accuratezza, ambiguità strategica, completezza e chiarezza.

La redazione assistita ha ottenuto punteggi più alti

Nei compiti di redazione con IA, il gruppo con accesso allo strumento ha ottenuto un punteggio superiore di 0,34 deviazioni standard dopo 10 giorni (p = 0,03) e di 0,38 deviazioni standard dopo 90 giorni (p = 0,01) rispetto al gruppo di controllo. La deviazione standard misura quanto i punteggi si disperdono rispetto alla media; qui esprime l’ampiezza della differenza rilevata tra i gruppi.

Nella prova del decimo giorno, i partecipanti junior hanno completato il compito 18 minuti più velocemente rispetto alla media di 124 minuti del gruppo di controllo. Il dato riguarda quella specifica prova, non una stima generale della produttività degli avvocati.

Nella revisione senza IA il risultato varia con l’esperienza

Nella correzione svolta senza assistenza al giorno 90, il gruppo che aveva avuto accesso all’IA ha ottenuto nel complesso un punteggio superiore di 0,32 deviazioni standard rispetto al controllo. Il risultato era concentrato tra i senior, definiti nello studio come avvocati con almeno sette anni di esperienza: per loro la differenza era di 0,45 deviazioni standard. I junior, con meno di sette anni di esperienza, non hanno mostrato un guadagno medio.

Le osservazioni sulla prova descrivono anche differenze nel tipo di interventi: i junior tendevano a dedicare tempo a modifiche introduttive di poco conto o a individuare problemi senza correggerli; i senior che avevano ricevuto l’accesso all’IA più spesso rielaboravano le rivendicazioni e valutavano come le parole potessero restringere la protezione. Sono comportamenti osservati in quel compito, non una regola generale sulle competenze di ogni professionista.

Che cosa dicono questi risultati sul lavoro legale

La ricerca ha misurato la qualità di bozze e correzioni simulate nell’arco di tre mesi. Non ha misurato assunzioni, perdita di posti di lavoro, risultati per i clienti, validità effettiva dei brevetti o sviluppo delle competenze lungo un’intera carriera. Perciò i punteggi descrivono le attività specifiche dell’esperimento, non una previsione sulla sostituzione degli avvocati da parte dell’IA.

Il lavoro ha inoltre riguardato 133 professionisti di 11 studi statunitensi. Il documento dello studio riferisce che Google ha finanziato i costi diretti dell’esperimento e dichiara, per diversi coautori, rapporti di lavoro, partecipazioni azionarie o collaborazioni retribuite con l’azienda.