Ein Docker-Aufbau kann Websuche, Dateizugriff, Terminal und App-Integrationen in einer KI-Oberfläche bündeln. Dass die Dienste auf dem eigenen Rechner laufen, heißt aber nicht automatisch, dass auch das KI-Modell dort rechnet. Jayric Maning berichtete bei MakeUseOf, für anspruchsvollere Aufgaben eine kostenpflichtige Inferenz-API genutzt zu haben, nachdem lokale Modelle auf seinem Testsystem zu langsam waren.

Lokal gehostete Werkzeuge sagen noch nicht, wo das Sprachmodell rechnet.

Was bietet die Docker-Alternative?

Manings Aufbau setzt die einzelnen Funktionen aus mehreren Diensten zusammen: Open WebUI dient als Oberfläche, Open Terminal stellt ein Terminal und Zugriff auf freigegebene Ordner bereit, und SearXNG übernimmt die Websuche. Maning zufolge kamen außerdem Wissensdatenbanken, Codeausführung und App-Integrationen hinzu.

Über MCP, einen Mechanismus zum Verbinden unterstützter Anwendungen, verband Maning Notion, Obsidian und LibreOffice mit seinem Aufbau. Diese Komponenten müssen eingerichtet und miteinander verknüpft werden; sie bilden nicht von selbst einen fertigen, einheitlich verwalteten Dienst.

Warum bedeutet lokales Hosting nicht lokale Inferenz?

Lokales Hosting beschreibt, wo die Anwendungen laufen. Inferenz bezeichnet die Verarbeitung einer Anfrage durch ein KI-Modell. Diese Verarbeitung kann auf dem eigenen Rechner oder über eine externe API erfolgen.

Maning berichtete, dass Qwen3.8-9B-Distill auf seinem System mit einer GPU und 8 GB VRAM zwar lief, die Verarbeitung für seine anspruchsvollen Aufgaben aber zu langsam war. Für diese Arbeit wechselte er zu einer kostenpflichtigen API und zahlte für die verwendeten Tokens. Seine Erfahrung beschreibt einen einzelnen Aufbau, keine allgemeine Aussage über die Leistung lokaler Modelle.

Wer Anfragen lokal verarbeiten lassen muss, sollte deshalb den Modellpfad berücksichtigen – nicht nur den Ort, an dem Open WebUI und die übrigen Dienste laufen. Die Kernwerkzeuge seines Aufbaus waren laut Maning ohne Abonnement nutzbar; die API-Inferenz verursachte dennoch Kosten.

Wie weit reicht der Zugriff auf Dateien?

Open Terminal kann auf die Ordner zugreifen, die in der Konfiguration freigegeben werden. Manings Beispiel band „Dokumente“ und „Downloads“ ein; er wies darauf hin, dass die KI freigegebene Dateien lesen oder verändern kann. Beschränke den Zugriff daher auf Ordner, die du dafür tatsächlich öffnen möchtest, und ersetze Beispielpasswörter durch eigene Zugangsdaten.

Was ändert die Tether-Sandbox?

Die Versionshinweise zu Open WebUI 0.13.4 beschreiben eine optionale Tether-Sandbox für Open Terminal auf macOS und unterstützten Windows-Geräten. Voraussetzung ist Tether 0.1.13 oder neuer. Die Sandbox begrenzt das Terminal und gestartete Prozesse auf einen ausgewählten Ordner; Netzwerkzugriff lässt sich erlauben, eingehende Verbindungen werden nicht angenommen. Kann die Sandbox nicht durchgesetzt werden, bleibt das Terminal gestoppt. Während sie aktiv ist, sind Browser- und Desktopsteuerung deaktiviert. Open WebUI 0.13.4: Versionshinweise zur Tether-Sandbox

Diese Funktion gehört zu den Versionshinweisen von Open WebUI 0.13.4. Manings beschriebene Docker-Konfiguration verwendete Open WebUI 0.13.3; die Sandbox ist daher eine separate, an ihre Voraussetzungen gebundene Möglichkeit.

Für wen eignet sich der Aufbau?

Der Aufbau passt eher zu Menschen, die Docker konfigurieren, Dienste verbinden und Integrationen bei Bedarf warten möchten. Maning beschrieb die Einrichtung als zeitaufwendig und merkte an, dass MCP-Verbindungen nach Änderungen an Diensten oder Anmeldungen Pflege benötigen können. Wer vor allem eine fertig zusammengestellte Oberfläche sucht, muss diesen zusätzlichen Konfigurationsaufwand mit einplanen.