CUDA Treiber Installation unter Ubuntu

Am häufigsten verwende ich als Betriebssystem Ubuntu wenn es darum geht, das ich neue Entwicklungen im Umfeld von generative AI wie Stablediffusion Anwendungen oder eben im Bereich der großen Sprachenmodellen (LLM) ausprobiere. Da kommt mir zugute das ich eine NVIDIA A6000 Grafikkarte in meinem Rechner verbaut habe die mit ihren 48GB Video-RAM ausreichend Platz bietet solche Modelle auch laden zu können.

Daher installiere ich Ubuntu immer wieder neu und damit einhergehend auch immer wieder die notwendigen Treiber von NVIDIA für die Grafikkarte. So habe ich immer alles auf dem neuesten Stand und kann ordentlich testen und hier auf meinem Blog berichten wie alles funktioniert und zusammen spielt. Daher dieser extra Beitrag der sich nur damit beschäftigt wie die neuesten CUDA Treiber unter Ubuntu installiert werden.

Hinweis: Dieser Beitrag wurde am 01.01.2024 geschrieben und setzt folgende Versionen ein:

Ubuntu Betriebssystem

Nach der installation des Betriebssystems und dem Einspielen aller Updates installiere ich mir immer noch kleinere Helfer die ich ganz gerne verwende wenn ich remote auf das System über einen SSH-Client zugreife. Nachfolgend die Befehle samit dem Programmieren die ich mir immer installiere.

Befehl: sudo apt-get install mc -y

Befehl: sudo apt-get install openssh-server -y

Befehl: sudo apt install curl -y

NVIDIA Driver

Die NVIDIA Treiber hat bei mir die Ubuntu Installationsroutine schon zu Beginn installiert. Beim Installationsmenü zu Beginn der Ubuntu Installation hatte ich ausgewählt das auch Treiber Dritter installiert werden sollen.

NVIDIA Grafikkarten Treiber

CUDA Installation

Es lohnt sich immer bevor man mit der CUDA installation startet zu prüfen für welche Software wird CUDA benötigt und welche Version sollte verwendet werden. Denn nicht immer funktioniert die neueste CUDA Version schon mit der Software ohne Probleme die ihr eventuell plant anschließend zu installieren.

Hier der Link auf das CUDA Archive bei NVIDIA um auch lätere Versionen installieren zu können. In der Übersicht wählt ihr dann aus welche Version ihr genau verwenden möchtet.

URL: Deb Network Archive

Das folgende Bild zeigt die Auswahl die ich getroffen hatte als ich diesen Beitrag geschreiben habe.

CUDA Treiber Auswahl

Dieser Link fürht auf exakt die Auswahl des CUDA Treibers den ich installiert habe: CUDA

Nach der erfolgreichen Installation startet ihr euer System am besten einmal neu. Anschließend führt ihr den folgenden Befehl aus um zu sehen ob die Treiber installiert wurden und die Grafikkarte jetzt CUDA Unterstützung hat.

Befehl: nvidia-smi

Wenn alles richtig funktioniert solltet ihr jetzt einen Screen wie den folgenden sehen. Dort seht ihr eure Grafikkarte und die installierte CUDA Version.

NVIDIA SMI Screen

Hinweis: Das Interessante ist jetzt, trotz das ich versucht habe die CUDA Treiber Version 12.3.1 zu installieren der NVIDIA-SMI Befehl die Version 12.2 anzeigt. Wie das passieren konnte kann ich mir gerade nicht erklären.

Zusammenfassung

Wenn man ein frisch installiertes Ubuntu als Betriebssystem hat ist die NVIDIA CUDA Installation keine große Sache. Einfach wie von mir beschrieben die einzelnen Schritte durchgehen und schon ist alles installiert. Jetzt kann dann z. B. ComfyUI, Automatic1111 oder sonstige Programme die CUDA Unterstützung benötigen eingerichtet werden.