NVIDIA CUDA Treiber Installation unter Ubuntu

Am häufigsten verwende ich als Betriebssystem Ubuntu zusammen mit den NVIDIA CUDA Treibern wenn es darum geht, das ich neue Entwicklungen im Umfeld von generativer AI wie Stablediffusion Anwendungen oder eben im Bereich der großen Sprachenmodellen (LLM) ausprobieren möchte. Da kommt mir zugute das ich eine NVIDIA A6000 Grafikkarte in meinem Rechner verbaut habe die mit ihren 48GB Video-RAM ausreichend Platz bietet auch größere Sprachenmodelle laden zu können.

Daher installiere ich Ubuntu immer wieder neu und damit einhergehend auch immer wieder die notwendigen Treiber von NVIDIA für die Grafikkarte. So habe ich immer alles auf dem neuesten Stand und kann ordentlich testen und hier auf meinem Blog berichten wie alles funktioniert und zusammen spielt. Daher dieser extra Beitrag der sich nur damit beschäftigt wie die neuesten CUDA Treiber unter Ubuntu installiert werden.

Hinweis: Dieser Beitrag wurde am 03.11.2024 aktualisiert und setzt folgende Ubuntu Versionen ein mit dem Ziel CUDA 12.5 zu installieren:

Hinweis: Wichtig bei der Installation von Ubuntu ist es meiner Erfahrung nach, dass nicht automatisch die Drittanbieter Treiber installieren läßt. Denn dann wird eine altere Treiberversion für die Grafikkarte installiert und ebenfalls auch bereits eine ältere CUDA Version.

Ubuntu Betriebssystem

Nach der installation des Betriebssystems installiere ich mir immer noch kleinere Helfer die ich ganz gerne verwende wenn ich remote auf das System über einen SSH-Client zugreife. Nachfolgend die Befehle samit dem Programmieren die ich mir immer installiere.

Befehl: sudo apt-get install mc -y

Befehl: sudo apt-get install openssh-server -y

Befehl: sudo apt install curl -y

NVIDIA Grafikkarten Treiber

Die NVIDIA Treiber müssen noch mit dem folgenden Befehl installiert werden. Dieser wird die Treiberversion 550 unter Ubuntu installieren.

Befehl: sudo apt install nvidia-utils-550

Anschließend sollte dann Ubuntu in etwa die folgende Ansicht zeigen.

NVIDIA Grafikkarten Treiber

CUDA Toolkit Installation

Es lohnt sich immer bevor man mit der CUDA installation startet zu prüfen für welche Software wird CUDA benötigt und welche Version sollte verwendet werden. Denn nicht immer funktioniert die neueste CUDA Version schon mit der Software ohne Probleme die ihr eventuell plant anschließend zu installieren.

Hier der Link auf das CUDA Archive bei NVIDIA um auch lätere Versionen installieren zu können. In der Übersicht wählt ihr dann aus welche Version ihr genau verwenden möchtet.

URL: Deb Network Archive

Das folgende Bild zeigt die Auswahl die ich getroffen hatte als ich diesen Beitrag geschreiben habe.

CUDA Treiber Auswahl

Dieser Link führt auf exakt die Auswahl des CUDA 12.5 Treibers den ich installiert habe: CUDA

Nach der erfolgreichen Installation startet ihr euer System am besten einmal neu. Anschließend führt ihr den folgenden Befehl aus um zu sehen ob die Treiber installiert wurden und die Grafikkarte jetzt CUDA Unterstützung hat.

Befehl: nvidia-smi

Wenn alles richtig funktioniert solltet ihr jetzt einen Screen wie den folgenden sehen. Dort seht ihr eure Grafikkarte und die installierte CUDA Version.

NVIDIA CUDA Toolkit version

Hinweis: Das Interessante ist jetzt, trotz das ich versucht habe die CUDA Treiber Version 12.5 zu installieren der NVIDIA-SMI Befehl die Version 12.4 anzeigt. Wie das passieren konnte kann ich mir gerade nicht erklären aber eventuell zeigt dies nur die Version des CUDA-Toolkit an und nicht die CUDA Treiber selber.

CUDA Treiber entfernen

Ich hatte einmal das Problem, dass ich keine neueren CUDA treiber installieren konnte. So habe ich diese mit den folgenden Befehlen entfernt und anschließend wie weiter oben beschrieben die CUDA Treiber installiert..

Befehl: sudo apt-get purge nvidia*
Befehl: sudo apt-get autoremove
Befehl: sudo apt-get autoclean
Befehl: sudo rm -rf /usr/local/cuda*

Zusammenfassung

Wenn man ein frisch installiertes Ubuntu als Betriebssystem hat ist die NVIDIA CUDA Installation keine große Sache. Einfach wie von mir beschrieben die einzelnen Schritte durchgehen und schon ist alles installiert. Jetzt kann dann z. B. ComfyUI, Automatic1111 oder sonstige Programme die CUDA Unterstützung benötigen eingerichtet werden.