Experts keurden 9 van 10 routes van RetroChimera goed

Microsoft Research meldt dat experts volledige, door RetroChimera voorgestelde syntheseroutes accepteerden voor 9 van 10 moeilijke doelmoleculen. Dat is een beoordeling van routes, geen verslag van negen geslaagde syntheses in een laboratorium. Microsoft Research beschrijft de beoordeling.

Wat RetroChimera voorspelt

Bij retrosynthese redeneer je vanaf een gewenste doelmolecule terug: welke reacties kunnen die molecule in kleinere voorlopers opsplitsen? Door zulke reactiestappen aan elkaar te koppelen, ontstaat een voorgestelde route naar eenvoudigere bouwstenen. RetroChimera rangschikt mogelijke reacties en routes; het model doet dus voorstellen op basis van berekeningen. Microsoft Foundry Labs beschrijft de voorspellingen.

Hoe RetroChimera twee modellen combineert

RetroChimera combineert twee benaderingen. R-SMILES 2 is een Transformer-model dat nieuwe reacties en voorlopermoleculen genereert. Die vrijheid maakt het mogelijk om voorstellen buiten een vaste lijst reactietypen te doen, maar voorspellingen kunnen ook hallucineren. NeuralLoc gebruikt een graafmodel met reactietemplates: bekende reactiepatronen sturen de voorspellingen, maar het model is daardoor gebonden aan de beschikbare templates.

Een aangeleerde stemmethode combineert de gerangschikte voorstellen met gewichten die afhangen van hun positie in de rangschikking. Als beide modellen dezelfde reactie voorstellen, kan die van beide een stem krijgen. Zo brengt RetroChimera de twee soorten voorspellingen samen; de uitkomst blijft een gerangschikt voorstel. Microsoft Research licht de modelopbouw en stemmethode toe.

Wat de beoordeling van tien doelmoleculen laat zien

In dezelfde beoordeling accepteerden experts complete routes voor tien moeilijke doelmoleculen. Microsoft Research rapporteerde deze aantallen:

De aantallen slaan op de acceptatie door experts van voorgestelde routes in deze groep van tien doelen. Ze meten geen algemene nauwkeurigheid en tellen geen moleculen die daadwerkelijk zijn gemaakt. De vergelijking laat zien hoe de systemen in deze beoordeling uitkwamen, niet hoe elke voorgestelde route zich in het lab gedraagt.

Voorkeur van chemici en tests met bedrijfsdata

Een afzonderlijke studie onderzocht de voorkeur van chemici voor losse voorspellingen. Negen gepromoveerde organisch chemici maakten 599 vergelijkingen; gemiddeld verkozen zij de beste voorspelling van RetroChimera in ongeveer 64% van de vergelijkingen boven de bijbehorende reactie uit de dataset. Dat is een andere maatstaf dan de acceptatie van volledige routes: de ene test gaat over voorkeur voor afzonderlijke reacties, de andere over complete routes voor tien doelen. De onderzoekspaper beschrijft de voorkeurstest.

Die paper beschrijft ook een zero-shot-evaluatie op 10.444 interne reacties van Novartis Biomedical Research, zonder extra fine-tuning voor die test. Daarnaast meldde Microsoft Source dat RetroChimera werd aangepast aan interne chemische gegevens van GSK. Dat zijn afzonderlijke onderzoekscontexten: de test met Novartis-data was zero-shot, terwijl de beschrijving van GSK over aanpassing aan interne data gaat. De paper beschrijft de Novartis-evaluatie; Microsoft Source bericht over de aanpassing aan GSK-data.

Een voorgestelde route is nog geen labprotocol

De geïllustreerde routes in de paper laten reagentia, oplosmiddelen en reactieomstandigheden weg. Daarmee vormen ze op zichzelf geen volledig experimenteel protocol. De auteurs waarschuwen bovendien dat modellen reacties kunnen hallucineren, vooral wanneer een molecuul of reactie verder afstaat van de trainingsdata; ook fouten in de trainingsdata kunnen doorwerken in voorspellingen. De onderzoekspaper beschrijft deze beperkingen.

Microsoft Research noemt toegang via GitHub, met de modelgewichten onder de MIT-licentie, en via Microsoft Foundry. Microsoft Foundry Labs vermeldt de modelvermelding als experimenteel. Microsoft Research beschrijft de toegang; Microsoft Foundry Labs vermeldt de experimentele status.