Die Voraussetzungen an Wissen und Hardware für die Nutzung der No-Code AI Pipeline sind nicht sonderlich hoch. Auch führt Sie diese Anleitung Schritt für Schritt durch alle Aspekte der Hardware Beschaffung, Software Installation und Bedienung der notwendigen Tools. Beim Schreiben dieser Anleitung bin ich davon ausgegangen, dass keine Vorkenntnisse am Thema AI vorhanden sind aber ein starkes Interesse und ein starker Willen das Projekt, arbeiten mit neuronalen Netzen, umzusetzen. Die hier vorgestellten Softwarelösungen stellen keine großen Anforderungen an die Hardware um diese einmal selber auszuprobieren. Soll es aber über das einfach mal ausprobieren hinausgehen lohnt es sich etwas Geld in die Hand zu nehmen und einen passenden Rechner aufzubauen bzw. zu kaufen. Aber das wichtigste bei diesem Projekt ist Neugierde auf das Thema No-Code AI Pipeline und den Mut zu haben loszulegen.

Einstieg in das Thema AI Hardware

Bei der Hardware wäre es gut auf einen Rechner zu setzen in dem aktuelle Komponenten verbaut sind die nicht älter als 3 Jahre sein sollten (diese Anleitung habe ich Ende 2021 verfasst). An diesen Deep Learning Rechner werden erst einmal keine sonderlichen hohen Anforderungen gestellt damit die Software generell einmal Läuft. Es kann ein Desktop Rechner sein oder auch ein Notebook. Natürlich ist es im Anwendungsbereich dem Training von neuronalen Netzen ein großer Vorteil wenn eine NVIDIA GPU verbaut ist die das aufwändige Training beschleunigt. So kann man schneller verschiedene Netze und Trainingsparameter ausprobieren ohne viele Stunden bis Tage zwischen den verschiedenen Trainings warten zu müssen. Dabei kann die Grafikkarte auch schon etwas älter sein und muss nicht gleich ein aktuelles Modell sein.

Hier ganz kurzs etwas zum Thema der Software bzw. dem Betriebssystem. Hilfreich ist mit Sicherheit etwas Erfahrung im Thema Linux und hier im speziellen mit dem Betriebssystem Ubuntu. Aber auch wenn kein Vorwissen vorhanden ist wird die Installation der No-Code AI Pipeline mit Sicherheit klappen. Denn alle Schritte sind im Detail erklärt und können 1:1 übernommen werden. Wichtig ist nur sich an die Reihenfolge zu halten und nichts auszulassen.

Für die Installation und Konfiguration der Software werden keine besonderen Anforderungen, wie eingangs bereits erklärt, an die Hardware gestellt. Ich persönlich hatte die Möglichkeit die AI Pipeline auf verschiedenen Systemen aufzusetzen und zu testen. Die so gesammelten Erfahrungen fließen immer wieder in diese Anleitung durch fortlaufende Aktualisierungen ein.

Was kostet mich ein einfaches Einsteigersystem mit GPU

Für den Aufbau eines Einsteigersystems mit NVIDIA Grafikkarte, guter CPU, Arbeitsspeicher und einer schnellen Festplatte für die Datenhaltung müssen ca. 2.800,-€ in die Hand genommen werden. Wobei die Preise für Hardwarekomponenten aktuell stark schwanken. Fertig aufgebaute Komplettsysteme mit aktuellen NVIDIA Grafikkarten sind aktuell meistens günstiger als individuell aufgebaute Systeme. So bieten große Discountern z. B. Spielerechner an die sich auf für die Nutzung AI Pipeline eigenen für weniger als 2.400,- € an mit z. B. einer NVIDIA RTX 3070 Grafikkarte.

Worauf kommt es an bei der Hardware Auswahl

Generell möchte ich hier ein paar Punkte ansprechen die sowohl für einen Laptop Computer als auch für einen Hochleistungsdesktop Rechner gelten. Dabei versuche ich die typischen Fragen aufzugreifen die sich jeder stellen sollte der solch ein System beschaffen möchte für die Nutzung im Bereich der neuronalen Netze.

Wahl der CPU und GPU:

Welche CPU gewählt wird hängt auch davon ab ob eine GPU im Rechner verbaut sein wird oder nicht. Denn nur beim Training der neuronalen Netze bringt eine Leistungsstarke CPU oder eben eine NVIDIA GPU Vorteile. Wenn keine GPU verbaut wird dann sollte die CPU maximal Leistungsstark sein. Kommt eine GPU zum Einsatz dann sollte eine CPU mit guten Leistungsdaten verbaut werden da ja das Trainings der neuronalen Netze dann auf der GPU erfolgt und die CPU nur noch die Daten von der Festplatte zur GPU transportieren muss. In diesem Fall sollte dann die GPU entsprechend Leistung haben und vom verfügbaren Speicher nicht zu klein (24 GB). Das bedeute, dass man sich vor der Anschaffung über die zukünftige Nutzung des Systems im Klaren sein muss. Werden häufig neuronale Netze trainiert von z. B. mehreren Anwendern dann sollte auf jeden Fall eine RTX3090 oder A6000 als GPU verbaut werden. Letztere bietet mit ihren 48 GB Arbeitsspeicher die Möglichkeit parallel mehrere Trainings von neuronalen Netzen einzuplanen.

Arbeitsspeicher:

Der Arbeitsspeicher des Rechners wird von mir für die bessere Erklärung in den System-Speicher und GPU-Speicher unterteilt. Kommt keine GPU zum Einsatz sollten mindestens 64 GB System-Speicher verbaut werden und wenn möglich aus aktuellen Modulen der Klasse DDR4 4400. Kommt eine GPU zum Einsatz dann sollte der Arbeitsspeicher mindestens 32 GB groß sein und das verbaute Motherboard mit seinen Speichermodulen die Möglichkeit bieten wenn der Bedarf besteht den System-Speicher zu erweitern. Wird das System von mehreren Personen gleichzeitig genutzt und steht für das Training der neuronalen Netze eine GPU zur Verfügung dann sollte der verbaute GPU-Speicher auf der Grafikkarte mindestens 24GB bis 48GB groß sein. So werden Engpässe vermieden die beim parallelen Training der neuronalen Netze auftreten können wenn der Speicher bereits von einem aktiven Training allein belegt wurde.

Massenspeicher:

Für die Installation des Betriebssystems reicht eine normale SSD Festplatte aus die ca. 500GB groß sein sollte. Hier sollte es ein Markenprodukt sein mit entsprechend guter Lesegeschwindigkeit. Bis auf das Betriebssystem und eventuelle Softwareinstallationen wird die SSD Festplatte wenig mit dem Training von neuronalen Netzen in Berührung kommen. Daher steht hier die Performance nicht ganz so im Fokus.

Für die Verwaltung der Trainingsdaten und zuspielen dieser Daten an die CPU oder eben GPU sollte zusätzlich ein schnelles NVMe Laufwerk verbaut werden. Je nachdem wie viele Nutzer das System nutzen also Projekt verwaltet werden sollten mindestens 2 TB verbaut sein. Hier ist wiederum die maximale Lesegeschwindigkeit wichtig die so hoch wie irgendwie möglich liegen sollte mit ca. 7.000MB/s. Das hängt natürlich von den aktuellen Hardwarepreisen und dem verfügbaren Budget ab. Denn es geht ja darum, dass die Trainingsdaten so schnell wie möglich an die Grafikkarte bzw. an den Prozessor übertragen werden können. Hier nicht zu sparen bringt den Vorteil, dass die Trainingsdaten auf dem NVMe Laufwerk liegen statt auf der SSD Festplatte und so maximal schnell zwischen CPU/GPU und NVMe Laufwerk hin und her übertragen werden können.

Energieaufnahme der Hardware

Je nach Ausstattung des Rechners kann die Stromaufnahme entsprechend hoch ausfallen. Unterscheiden würde ich hier den Leerlauf des Systems und dann den Energieverbrauch unter voller Last beim Training von neuronalen Netzen. Der Energieverbrauch liegt bei einem Desktop Rechner mit Threadripper CPU und zwei RTX 3090 die Wassergekühlt sind bei 600 Watt im Leerlauf und schnell bei 1200 Watt unter Volllast. Wenn Sie noch keinen Smartmeter im Haus als Strommesser verbaut haben kommt das hohe sowie lauter Pfeifen das Sie eventuell hören oder ihrem Lebenspartner erklären müssen dann von der rotierenden Scheibe im Stromzähler…

Hinweis: Sekundärenergie nutzen

Diese kann sehr gut genutzt werden um:

• • Wäsche, Schuhe, Wasserfarbenbilder der Kinder, Schneeanzug usw. schnell zu trocknen oder eben um Trockenobst für die ausgedehnte Verwandtschaft herzustellen usw.
  • verschiedene Teigsorten gehen schneller im Server bzw. Teiggehraum auf (bitte den Teig mit einem feuchten Tuch abdecken damit dieser nicht an der Oberfläche in der kurzen Zeit Luftgetrocknet wird – für Sie bereits getestet) und davon hat auch die ganze Familie etwas.
  • auch ist solch ein System ideal im Winter den Wäsche- Bügelraum zu wärmen um z. B. die aufgehängte Wäsche schneller trocknen zu können.
  • usw.

Meine Erfahrungen die ich über die letzten Jahre gesammelt habe, habe ich in der nachfolgenden Hardware Empfehlungen versucht auf das wesentliche zusammen zu fassen. So gebe ich viele Hinweise und Tipps in der Hoffnung, dass diese weiterhelfen beim Einstieg in das Thema der künstlichen Intelligenz.

Hinweis: Wichtig ist, dass man sich im Vorfeld genau überlegt wie das System genutzt werden soll. Zu klären ist auch ob mehrere Nutzer über das Netzwerk zugreifen sollen um neuronale Netze zu trainieren oder bei der privaten Nutzung ob dieses System eher zum Computerspielen gedacht ist usw.

Wärmeentwicklung und Kühlung

Die Wärmeentwicklung eines solchen Hochleistungsrechners sollte nicht unterschätzt werden und vor allem den Aufwand der betrieben werden muss um die Wärme aus dem Gerät heraus zu führen. Daher wäre zunächst einmal eine kühle Umgebung in der der Rechner betrieben wird sehr zu empfehlen. Auch darf das Gehäuse etwas größer ausfallen um ausreichend Volumen für Luft, die verbauten Ventilatoren und Radiatoren zu haben. Kommt eine vom Platz her anspruchsvollere Wasserkühlung zum Einsatz zahlt sich ein großes Gehäuse wie das Fractal Design – Delfine XL noch einmal mehr aus.

Ein rein mit Luft gekühltes System ist in der folgenden Abbildung zu sehen, dass über zwei Leistungsstarke Quadro RTX 8000 Grafikkarten verfügt. Wenn die beiden NVIDIA Quadro Grafikkarten voll ausgelastet sind dann erzeugen diese allein schon eine Lärmentwicklung die es nicht zulässt dieses System in einem Büro unter einem Schreibtisch zu betreiben. Dieses System als Ganzes kann nicht in einem Büro betrieben werden da die Lautstärke der beiden Netzteile und vier Hochleistungslüfter die zumutbare Lärmgrenze eines Menschen deutlich übersteigen.

No Code AI air cooled deep learning system

Ein Wassergekühltes System ist hier deutlich leiser als ein rein luftgekühltes System.

Deep Learning PC Impressionen

Die folgenden Bilder wurden von der Firma MIFCOM[1] zur Verfügung gestellt um in dieser Beitragsserie einmal zeigen zu können wie professionell aufgebaute Deep Learning Workstations mit einer Wasserkühlung aussehen können. Bei den Bildern geht es vor allem darum einmal zu zeigen wie technisch komplex eine professionell aufgebaute Wasserkühlung ist. Für mich als Laie wäre der Aufbau eines Wassergekühlten Systems zu anspruchsvoll.

Das folgende Bild zeigt die vorbereiteten Kühlkörper für ein 4 GPU WaKü System.

MIFCOM 4 Waku GPU Blocks

Zusammengebaut für einen Probelauf, noch ohne GPUs, um die Dichtigkeit des Kühlsystems zu testen ist schon sehr gut zu sehen, dass der Platz in einem normalen Bigtower schnell eng werden würde. Im fordern Bereich sind die Kühlleitungen gesehen die einen Tower notwendig machen der tief genug ist um solch eine professionelle Kühlung überhaupt verbauen zu können.

MIFCOM 4 GPUs water cooled

Ein fertig aufgebautes Wassergekühltes System der Firma MICOM sieht dann wie im folgenden Bild gezeigt aus. Sehr gut zu erkennen sind die Radiatoren die im Boden, Deckel sowie in der Front verbaut wurden mit einer Vielzahl an Lüftern. Vorne im Gehäuse ist noch der Ausgleichsbehälter zu sehen der auch den Stand der Kühlflüssigkeit anzeigt. So kann schnell mit einem Blick überprüft werden ob die Kühlung intakt ist.

MIFCOM Boss System

In diesem Beitrag habe ich versucht auf die grundlegenden Überlegungen einzugehen welches System für den jeweiligen Einsatz am besten geeignet ist und auch hoffentlich die passenden Fragen an die Hand gegeben die sich gestellt werden sollten bevor solch ein System angeschafft wird. Im jetzt folgenden Beitrag AI Pipeline – Generelle Voraussetzungen Teil 2-2 stelle ich verschiedene fertige Komplettsysteme vor sowie auch mein eigenes das ich mir selber aufgebaut habe.

Artikelübersicht - Wie setze ich die AI Pipeline auf:

[1] Zwischen der Firma MIFCOM und meinem Arbeitgeber bestehen eine Geschäftsbeziehung und so ein regelmäßiger Austausch zu Hochleistungsrechner für Machine Learning im täglichen Büroeinsatz. Die so gesammelten Erfahrungen und sich bewährten Rechnerkonfigurationen finden sich in diesem E-Book wieder.