Wenn du dir die Augen verbindest, dich 50-mal im Kreis drehst und einen Stein wirfst, triffst du unweigerlich ein Modell, das auf künstlicher Intelligenz basiert. Der Hype um diese Technologie hat jedes Gefühl von Kontrolle hinter sich gelassen, aber abgesehen von Zweifeln an Qualität und Nutzen ist die Installation in herkömmlichen Umgebungen viel einfacher geworden. Tatsächlich reduziert das Ollama-Projekt den gesamten Prozess auf einen anfänglichen Download, ein paar PowerShell-Befehle und ein paar Minuten deiner Zeit.
Vielleicht hast du dich gefragt, warum ich nicht mehr Neuigkeiten zur künstlichen Intelligenz abdecke wie früher. Die Wahrheit ist, dass wir eine Phase des „Ich auch“ durchleben, die ans Verzweifeln grenzt. Die Anzahl der Projekte, die das Etikett „jetzt mit KI“ oder Ähnliches missbrauchen, ist absurd, und in den allermeisten Fällen sind ihre Ergebnisse enttäuschend.
Hinzu kommt die sofortige Verfügbarkeit der wichtigsten Modelle wie ChatGPT (das in der kostenlosen Version die Anmeldepflicht entfernt hat), Google Gemini und Copilot (das Microsoft sogar für den Gang zur Toilette anbietet). Heute jedoch präsentiere ich einen kleinen Akt der Rebellion in Form von lokalen, privaten und offline nutzbaren Modellen. Natürlich brauchst du einiges an Feuerkraft, damit sie reibungslos laufen, aber die Software-Anforderungen sind sehr einfach. Der erste Schritt ist, Ollama herunterzuladen.
Ollama: Eine effektive Möglichkeit, KI-Modelle offline auszuführen
Nachdem du Ollama heruntergeladen und installiert hast, wirst du ein kleines Symbol in der Taskleiste bemerken. Das zeigt nur an, dass die Umgebung läuft. Du kannst auch http://localhost:11434/ aufrufen und prüfen, ob der Satz „Ollama is running“ erscheint. Nun hat Ollama keine Oberfläche, aber sie ist auch nicht nötig: Der „Chat“ selbst funktioniert über PowerShell.
Ich empfehle, PowerShell mit erweiterten Rechten zu öffnen, da Ollama die Modelle herunterladen muss, um die lokale Ausführung zu gewährleisten. Die vollständige Liste findest du hier, aber Llama2 und Mistral sind zwei interessante Optionen für den Anfang. Wenn du zum Beispiel den Befehl „ollama run llama2“ ausführst, lädt Ollama automatisch eine Kopie von Llama2 herunter. Der Durchschnitt liegt bei 4 Gigabyte pro Modell, also brauchst du etwas Geduld und genügend Platz auf deinem Laufwerk. Das Modell ist einsatzbereit, wenn du den Cursor siehst, begleitet von der Anzeige „Send a message (/? for help)“.
Wie gut funktioniert Ollama also? Ich gebe zu, dass die Umgebung sehr gut ist, aber die endgültige Qualität der Sitzungen hängt immer davon ab, was jedes Modell kann oder nicht. Sowohl Llama2 als auch Mistral starteten gut, aber innerhalb von weniger als zehn Minuten halluzinierten sie bereits falsche Informationen. Mistral erfand ein US-Projekt (Project ALFRED), das auf RTGs aus Mitte der 60er Jahre basierte und von dem ich nichts fand. Llama2 hingegen gab mir zwei verschiedene Daten für die Parlamentswahlen in Mexiko ... und erfand sogar Kandidatennamen. ¯\_(ツ)_/¯
Zusammenfassend ist Ollama als Experimentierwerkzeug solide. Die Modelle sind eine andere Geschichte. Link unten!
Offizielle Website und Download: Hier klicken
