Der Schnellstart – Ollama & Open WebUI – Die schnelle Installationsanleitung für die Nutzung von lokalen Open Source LLMs

Lokale Sprachmodelle (LLMs) auf der eigenen Hardware zu betreiben, ist einfacher als je zuvor. Mit leistungsstarken Open-Source-Tools wie Ollama und der eleganten Benutzeroberfläche Open WebUI kann jeder mit einer potenten NVIDIA-GPU seinen eigenen, privaten KI-Server aufsetzen. Dies gibt Ihnen die volle Kontrolle über Ihre Daten und Modelle.

Das Besondere an dieser Anleitung: Für das Ollama-Backend nutzen wir die offizielle Standard-Installation direkt auf dem Betriebssystem (kein Docker-Container!). Nur die Weboberfläche Open WebUI läuft in einem isolierten Docker-Container, um maximale Stabilität und einfache Updates zu gewährleisten. Dieses Art der Softwareinstallation  ist das von den beiden Herausgebern Ollama und Open WebUI empfohlene Vorgehen und läßt sich auf einem Ubuntu-System in unter 1 Stunde erfolgreich realisieren.

Ich zeige Ihnen von Anfang bis Ende, wie Sie Ollama und Open WebUI auf einem Ubuntu-Server installieren, für den Netzwerkzugriff konfigurieren und dauerhaft auf dem neuesten Stand halten.

Legen wir los!

Ollama and Open WebUI

Teil 1: Ollama-Grundinstallation lokal

Wir installieren Ollama direkt auf dem System mit dem offiziellen Installations-Skript. Dies ist die einfachste und von den Entwicklern empfohlene Methode.

Führen Sie diesen Befehl in Ihrem Terminal aus. Das Skript erkennt automatisch Ihre NVIDIA-GPU und installiert bei Bedarf die notwendigen CUDA-Abhängigkeiten.

Befehl: curl -fsSL https://ollama.com/install.sh | sh

Überprüfen Sie nach der Installation, ob der Ollama-Dienst korrekt läuft:

Befehl: sudo systemctl status ollama

Die Ausgabe sollte Active: active (running) in grüner Schrift zeigen.

WICHTIG: Ollama für Netzwerkzugriff konfigurieren

Standardmäßig lauscht Ollama nur auf Anfragen vom selben Rechner (localhost). Damit unsere Weboberfläche, die später in einem Docker-Container laufen wird, darauf zugreifen kann, müssen wir Ollama anweisen, auf allen Netzwerkadressen zu lauschen.

1. Konfigurationsdatei bearbeiten:
Wir erstellen eine sogenannte „Override“-Datei. Dies ist der saubere und empfohlene Weg, um die Standardkonfiguration zu ändern, ohne Systemdateien direkt zu verändern.

Befehl: sudo systemctl edit ollama.service

2. Konfiguration einfügen:
Ein Texteditor öffnet sich. Fügen Sie exakt folgenden Inhalt ein. Dies weist den Dienst an, auf Anfragen von jeder IP-Adresse im Netzwerk zu reagieren (0.0.0.0).

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

Speichern und schließen Sie die Datei (in nano geht das mit Strg+X, dann Y zur Bestätigung und Enter).

3. Dienste neu laden und Ollama neustarten:
Damit die Änderungen wirksam werden, müssen die Konfiguration neu geladen und der Dienst neugestartet werden.

Befehl: sudo systemctl daemon-reload

Befehl: sudo systemctl restart ollama

Jetzt noch einmal mit dem folgenden Befehl am Server selber testen ob Ollama wieder läuft.

Befehl: sudo systemctl status ollama

Im Browser jetzt die URL http://<IP-Adresse-Ollama-Server>:11434 aufrufen. Es sollte folgendes im Browser angezeigt werden.

Ollama is running

Perfekt! Ihr Ollama-Backend ist nun bereit und wartet auf Verbindungen aus dem Netzwerk.

Teil 2: Installation von Open WebUI via Docker

Docker ist der einfachste und stabilste Weg, um Open WebUI zu betreiben. Es isoliert die Anwendung in einem Container und vermeidet so Systemkonflikte.

Schritt 1: Docker installieren

Falls Docker noch nicht auf Ihrem System installiert ist, können Sie dies mit den offiziellen Befehlen nachholen:

Befehl: sudo apt-get update

Befehl: sudo apt-get install ca-certificates curl

Befehl:  sudo install -m 0755 -d /etc/apt/keyrings

Befehl: sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc

Befehl: sudo chmod a+r /etc/apt/keyrings/docker.asc

Befehl: echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null


Befehl: sudo apt-get update


Befehl: sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Schritt 2: Open WebUI Container starten

Dieser Befehl lädt das neueste Open WebUI Image herunter und startet es mit der optimalen Konfiguration für den Netzwerkzugriff und die Datenhaltung.

Befehl: sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Was die einzelnen Parameter bedeuten:

• -d: Startet den Container im Hintergrund (detached mode).
• -p 3000:8080: Leitet den Port 3000 Ihres Servers auf den Port 8080 im Container um. Sie greifen also von außen über Port 3000 zu.
• --add-host=host.docker.internal:host-gateway: Ein wichtiger Parameter, der dem Container erlaubt, den Host-PC (und damit Ollama) zuverlässig über eine spezielle Adresse zu finden.
• -v open-webui:/app/backend/data: Speichert all Ihre Daten (Benutzer, Chats, Einstellungen) in einem persistenten Docker-Volume, sodass sie auch nach Updates erhalten bleiben.
• --name open-webui: Gibt dem Container einen festen, leicht wiedererkennbaren Namen.
• --restart always: Stellt sicher, dass die Weboberfläche nach einem Server-Neustart automatisch wieder gestartet wird.

Schritt 3: Open WebUI einrichten

Öffnen Sie einen Browser auf einem beliebigen PC in Ihrem Netzwerk und geben Sie die folgende Adresse ein:
http://<IP-EURES-SERVERS>:3000

Sie werden vom Einrichtungsassistenten begrüßt, wo Sie Ihren ersten Administrator-Account anlegen. Anschließend müssen Sie die Verbindung zu Ollama herstellen. Gehen Sie dazu auf Einstellungen -> Verbindungen und klicken Sie auf Verbindung hinzufügen:

• URL (API-Basis-URL): http://host.docker.internal:11434
• API-Schlüssel: Lassen Sie dieses Feld leer.

Nach dem Speichern ist die Einrichtung abgeschlossen und Ihre lokal installierten Ollama-Modelle sollten auf der Hauptseite zur Auswahl stehen.

Teil 3: So halten Sie alles aktuell

Die Entwicklung im KI-Bereich ist rasant. Regelmäßige Updates für Ollama und Open WebUI bringen neue Funktionen und verbessern die Stabilität.

Ollama aktualisieren

Die Ollama-Entwickler haben den Update-Prozess sehr einfach gestaltet. Ein einziger Befehl genügt, um Ollama auf die neueste Version zu heben:

Befehl: curl -fsSL https://ollama.com/install.sh | sh

Das Skript erkennt die bestehende Installation und aktualisiert sie, ohne Ihre heruntergeladenen Modelle zu löschen.

Open WebUI aktualisieren

Dank Docker ist auch das Update der Weboberfläche ein Kinderspiel und in wenigen Schritten erledigt.

1. Neuestes Image herunterladen:

Befehl: sudo docker pull ghcr.io/open-webui/open-webui:main

2. Laufenden Container stoppen und entfernen:
Keine Sorge, Ihre Daten im persistenten Volume bleiben dabei unangetastet.

Befehl: sudo docker stop open-webui

Befehl: sudo docker rm open-webui

3. Container mit dem neuen Image neu starten:
Führen Sie einfach exakt denselben docker run-Befehl aus wie bei der Erstinstallation. Docker wird automatisch die neu heruntergeladene Version verwenden.

Befehl: sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Das war’s schon! Ihre Weboberfläche ist wieder auf dem neuesten Stand.

Ich hoffe, diese detaillierte Anleitung hilft Ihnen dabei, Ihre eigene KI-Umgebung erfolgreich aufzusetzen und zu betreiben. Bei Fragen oder Anregungen, hinterlassen Sie gerne einen Kommentar!

Happy Prompting!