Als je je ogen blinddoekt, 50 keer ronddraait en een steen gooit, raak je onvermijdelijk een model op basis van kunstmatige intelligentie. De hype rond deze technologie heeft elk gevoel van controle achter zich gelaten, maar buiten twijfels over kwaliteit en bruikbaarheid is het duidelijk dat het veel eenvoudiger is geworden om te installeren in conventionele omgevingen. Sterker nog, het Ollama-project reduceert het hele proces tot een eerste download, een paar PowerShell-commando's en een paar minuten van je tijd.
Misschien heb je je afgevraagd waarom ik niet zoals voorheen nieuws over kunstmatige intelligentie behandel. De waarheid is dat we een fase van "ik ook" doormaken die bijna wanhopig is. Het aantal projecten dat misbruik maakt van de legende "nu met AI" of iets dergelijks is absurd, en in de meeste gevallen zijn de resultaten teleurstellend.
Daar komt bij dat de belangrijkste modellen direct beschikbaar zijn, zoals ChatGPT (dat de loginvereiste in de gratis versie heeft verwijderd), Google Gemini en Copilot (die Microsoft ons zelfs aanbiedt om naar het toilet te gaan). Vandaag presenteer ik echter een kleine daad van rebellie, in de vorm van lokale, privé- en offline modellen. Je hebt uiteraard wat rekenkracht nodig om ze zonder problemen te laten draaien, maar de softwarevereisten zijn heel eenvoudig. De eerste stap is het downloaden van Ollama.
Ollama: een effectieve manier om AI-modellen offline te draaien
Zodra je Ollama hebt gedownload en geïnstalleerd, zie je een klein pictogram in het systeemvak. Dit geeft alleen aan dat de omgeving werkt. Je kunt ook naar http://localhost:11434/ gaan en controleren dat de zin "Ollama is running" verschijnt. Ollama heeft geen interface, maar dat is ook niet nodig: de eigenlijke 'chat' werkt via PowerShell.
Ik raad aan om PowerShell met verhoogde rechten te openen, omdat Ollama de modellen moet downloaden om de lokale uitvoering te garanderen. De volledige lijst staat hier, maar Llama2 en Mistral zijn twee interessante opties om mee te beginnen. Als je bijvoorbeeld het commando "ollama run llama2" uitvoert, haalt Ollama automatisch een kopie van Llama2 op. Het gemiddelde is 4 GB per model, dus je moet wat geduld en voldoende ruimte op je schijf hebben. Het model is klaar voor gebruik wanneer je de cursor ziet, vergezeld van de uitdrukking "Stuur een bericht (/? voor hulp)".
Dus, hoe goed werkt Ollama? Ik geef toe dat de omgeving erg goed is, maar de uiteindelijke kwaliteit van de sessies hangt altijd af van wat elk model kan of niet kan. Zowel Llama2 als Mistral hadden een goede start, maar binnen minder dan tien minuten waren ze al aan het hallucineren met onjuiste informatie. Mistral verzon een Amerikaans project (Project ALFRED) gebaseerd op RTG's in het midden van de jaren '60, waar ik niets over kon vinden. Llama2 gaf me daarentegen twee verschillende data voor de algemene verkiezingen in Mexico... en verzon namen van kandidaten. ¯\_(ツ)_/¯
Kortom, als experimenteertool is Ollama solide. De modellen zijn een ander verhaal. Link hieronder!
Officiële site en download: Klik hier
