AI Toolkit auf Gigabyte AI TOP ATOM installieren – Schritt-für-Schritt Anleitung – Teil 2-2

Phase 8: Web-UI kompilieren und starten

Jetzt kann ich die Web-UI kompilieren und starten. Zuerst wechsle ich in das UI-Verzeichnis des AI Toolkits:

Befehl: cd ui

Falls ihr das AI Toolkit Repository noch nicht geklont habt, müsst ihr das zuerst tun. Das UI-Verzeichnis sollte sich im Root-Verzeichnis des AI Toolkit Repositories befinden.

Jetzt starte ich den Build- und Start-Prozess:

Befehl: npm run build_and_start

Dieser Befehl führt zwei Schritte aus: Zuerst werden alle Node.js-Abhängigkeiten installiert und die UI kompiliert (build), dann wird der Server gestartet (start). Der Prozess kann einige Minuten dauern, besonders beim ersten Mal, da alle Dependencies heruntergeladen werden müssen.

Während des Build-Prozesses seht ihr viele Ausgaben im Terminal. Das ist normal. Falls Fehler auftreten, prüft die Fehlermeldungen – häufig sind es fehlende Dependencies oder Netzwerkprobleme.

Nach erfolgreichem Start seht ihr eine Meldung, die in etwa so aussieht:

Server running on http://0.0.0.0:8675

Die Web-UI ist jetzt erreichbar! Öffnet in eurem Browser http://<IP-Adresse-AI-TOP-ATOM>:8675 (ersetzt dabei <IP-Adresse-AI-TOP-ATOM> mit der IP-Adresse eures AI TOP ATOM).

GIGABYTE AI TOP ATOM – AI Toolkit by Ostris

Um die IP-Adresse eures AI TOP ATOM zu finden, verwendet:

Befehl: hostname -I

Falls eine Firewall aktiv ist, müsst ihr Port 8675 freigeben:

Befehl: sudo ufw allow 8675

Wichtiger Hinweis: Die Conda-Umgebung ai-toolkit muss aktiviert sein, wenn ihr die UI startet. Falls die UI nicht startet oder Fehler auftreten, prüft, ob die Umgebung aktiviert ist.

Phase 9: Ersten Trainingsjob starten

Einen sehr guten Einstieg in das Training mit dem AI Toolkit bietet der YouTube Kanal von Ostris mit Beiträgen zu unterschiedlichen Modellen wie ihr mit dem AI Toolkit z. B. ein eigenes LoRA trainiert: AI Toolkit on YouTube

Nachdem die Web-UI erfolgreich gestartet wurde, könnt ihr euren ersten Trainingsjob konfigurieren. Die Web-Oberfläche bietet verschiedene Optionen für die Konfiguration:

• Modell-Auswahl und Konfiguration

• Dataset-Verwaltung

• Training-Parameter (Learning Rate, Batch Size, etc.)

• Erweiterte Konfigurationen über die Advanced Config

Konfiguriert euren Trainingsjob in der Web-UI und startet ihn. Ihr könnt den Fortschritt direkt in der UI verfolgen. Die GPU-Auslastung könnt ihr parallel mit nvidia-smi oder über das DGX Dashboard überwachen.

Tipp: Für euren ersten Test empfehle ich, ein kleines Dataset und ein kleineres Modell zu verwenden, um die Funktionalität zu überprüfen, bevor ihr größere Trainingsjobs startet.

GIGABYTE AI TOP ATOM – AI Toolkit Ostris

Troubleshooting: Häufige Probleme und Lösungen

In meiner Zeit mit dem AI Toolkit auf dem AI TOP ATOM bin ich auf einige typische Probleme gestoßen. Hier sind die häufigsten und wie ich sie gelöst habe:

• „Command not found“ bei conda-Befehlen: Miniconda ist nicht im PATH oder die Bash-Session wurde nicht neu gestartet. Führt source ~/.bashrc aus oder startet ein neues Terminal-Fenster.

• Conda-Umgebung wird nicht aktiviert: Prüft, ob die Umgebung existiert mit conda env list. Falls nicht, erstellt sie erneut mit conda create --name ai-toolkit python=3.11.

• PyTorch CUDA-Unterstützung nicht verfügbar: Prüft mit python -c "import torch; print(torch.cuda.is_available())". Falls False, prüft die CUDA-Treiber mit nvidia-smi und stellt sicher, dass die richtige PyTorch-Version installiert wurde.

• npm-Befehl nicht gefunden: npm wurde nicht installiert. Installiert es mit sudo apt install npm oder stellt sicher, dass Node.js korrekt installiert wurde und im PATH ist.

• UI startet nicht oder zeigt Fehler: Prüft, ob die Conda-Umgebung aktiviert ist. Die UI muss in der aktivierten Umgebung gestartet werden. Prüft auch die Logs im Terminal für detaillierte Fehlermeldungen.

• Trainingsjob startet nicht oder stürzt ab: Das Training läuft normalerweise über ein Python-Skript. Falls die UI keine Ausgabe zeigt, könnt ihr das Training direkt über die Kommandozeile starten. Dazu kopiert die Konfiguration aus der Advanced Config in eine YAML-Datei und führt aus: python run.py path/to/train.yaml (mit aktivierter Conda-Umgebung).

• Zugriff auf die UI aus dem Netzwerk funktioniert nicht: Prüft die Firewall-Einstellungen und stellt sicher, dass Port 8675 freigegeben ist. Prüft auch, ob beide Computer im gleichen Netzwerk sind.

• Node.js-Version nicht kompatibel: Stellt sicher, dass ihr eine ARM64-Version von Node.js verwendet. Die x86_64-Version funktioniert nicht auf dem AI TOP ATOM.

Training direkt über die Kommandozeile starten

Falls ihr Probleme mit der Web-UI habt oder das Training direkt über die Kommandozeile starten möchtet, könnt ihr die Konfiguration aus der Advanced Config der Web-UI kopieren und in eine YAML-Datei speichern. Dann startet das Training mit:

Befehl: python run.py path/to/train.yaml

Wichtig: Die Conda-Umgebung ai-toolkit muss aktiviert sein, bevor ihr diesen Befehl ausführt. Das Training läuft dann direkt im Terminal, und ihr seht alle Ausgaben in Echtzeit.

Diese Methode ist besonders nützlich für das Debugging, da ihr alle Fehlermeldungen direkt sehen könnt.

Conda-Umgebung nach Neustart wieder aktivieren

Nach einem Neustart des Systems müsst ihr die Conda-Umgebung erneut aktivieren, bevor ihr die UI startet:

Befehl: conda activate ai-toolkit

Falls ihr die UI automatisch beim Systemstart starten möchtet, könnt ihr ein Systemd-Service erstellen oder ein Startup-Skript in der ~/.bashrc hinzufügen. Achtet dabei darauf, dass die Conda-Umgebung aktiviert wird, bevor die UI gestartet wird.

Rollback: AI Toolkit wieder entfernen

Falls ihr das AI Toolkit komplett vom AI TOP ATOM entfernen möchtet, führt auf dem System folgende Befehle aus:

Zuerst stoppt die UI (falls sie läuft) mit Ctrl+C im Terminal, in dem sie gestartet wurde.

Entfernt die Conda-Umgebung:

Befehl: conda deactivate

Befehl: conda env remove --name ai-toolkit

Falls ihr auch Miniconda entfernen möchtet:

Befehl: rm -rf ~/miniconda3

Entfernt die Miniconda-Einträge aus der ~/.bashrc Datei, falls vorhanden.

Falls ihr Node.js entfernen möchtet:

Befehl: sudo rm -rf /opt/node-v24.11.1-linux-arm64

Entfernt die Node.js-Einträge aus der ~/.bashrc Datei.

Falls npm über apt installiert wurde:

Befehl: sudo apt remove npm

Wichtiger Hinweis: Diese Befehle entfernen alle Trainingsdaten, Modelle und Konfigurationen, die in der Conda-Umgebung gespeichert waren. Stellt sicher, dass ihr wirklich alles entfernen möchtet, bevor ihr diese Befehle ausführt. Trainings-Checkpoints und Modelle können nicht einfach wiederhergestellt werden.

Zusammenfassung & Fazit

Die Installation des AI Toolkits auf dem Gigabyte AI TOP ATOM ist dank der Kompatibilität mit den NVIDIA DGX Anleitung erstaunlich unkompliziert. In etwa 30-45 Minuten habe ich das AI Toolkit eingerichtet und kann jetzt eigene Modelle über die benutzerfreundliche Web-Oberfläche trainieren.

Was mich besonders begeistert: Die Conda-Umgebung ermöglicht eine saubere Isolation von der System-Python-Installation, und die Web-UI macht das Konfigurieren und Starten von Trainingsjobs deutlich einfacher als über die Kommandozeile. Die Performance der Blackwell-GPU wird voll ausgenutzt, und ich kann Trainingsjobs auch von anderen Computern im Netzwerk aus starten und überwachen.

Besonders praktisch finde ich auch, dass die Web-UI eine Advanced Config bietet, die es ermöglicht, komplexe Konfigurationen zu erstellen und diese auch direkt als YAML-Dateien zu exportieren. Das macht es einfach, Trainingsjobs zu reproduzieren oder zu teilen.

Für Teams oder Entwickler, die ihre eigenen AI-Modelle trainieren möchten, ist das eine perfekte Lösung: Ein zentraler Server mit voller GPU-Power, auf dem Trainingsjobs über eine intuitive Web-Oberfläche gestartet und überwacht werden können. Die Conda-Umgebung sorgt dafür, dass alles sauber isoliert ist und sich einfach wieder entfernen lässt.

Falls ihr Fragen habt oder auf Probleme stoßt, schaut gerne in die offizielle NVIDIA DGX Spark Dokumentation oder in die Dokumentation des AI Toolkits von Ostris. Die Community ist sehr hilfsbereit, und die meisten Probleme lassen sich schnell lösen.

Nächster Schritt: Eigene Datasets vorbereiten und Modelle trainieren

Ihr habt jetzt das AI Toolkit erfolgreich installiert und die Web-UI läuft. Die Grundinstallation funktioniert, aber das ist erst der Anfang. Der nächste Schritt ist die Vorbereitung eurer eigenen Datasets und die Konfiguration von Trainingsjobs für eure spezifischen Anwendungsfälle.

Das AI Toolkit unterstützt verschiedene Dataset-Formate und Training-Methoden. Experimentiert mit verschiedenen Konfigurationen, um die besten Ergebnisse für eure Modelle zu erzielen. Die Web-UI macht es einfach, verschiedene Parameter auszuprobieren und die Ergebnisse zu vergleichen.

Einen sehr guten Einstieg bietet der YouTube Kanal von Ostris mit Beiträgen zu unterschiedlichen Modellen die er z. B. um eigene LoRas in seinen Beiträgen erweitert: AI Toolkit on YouTube

Viel Erfolg beim Experimentieren mit dem AI Toolkit auf eurem Gigabyte AI TOP ATOM. Ich bin gespannt, welche Modelle ihr damit trainiert! Lasst es mich und meine Leser hier in den Kommentaren wissen.

Hier geht es zum Teil 1/2: AI Toolkit auf Gigabyte AI TOP ATOM installieren – Schritt-für-Schritt Anleitung – Teil 1-2