Mit dem ersten Teil rund um das Thema Hardware folgt jetzt der zweite Teil der konkrete Lösungen vorstellt mit verschiedenen Alternativen bei den Konfigurationen. Hier gehe ich auf der einen Seite auf fertig aufgebaute Systeme ein aber auch auf mein privates System das ich von Grund auf selber aufgebaut habe. Die zentrale Fragestellung dabei ist immer was brauche ich überhaupt an Hardware für welche Aufgabe im Bereich der künstlichen Intellignez wurde bereits schon ausgiebig besprochen. Daher geht es jetzt mit konkreten Lösungen weiter aus denen die für einen am besten passende ausgesucht werden kann bzw. ist dieser Beitrag so zu verstehen das einem Ideen für Systeme an die Hand gegeben werden.

Machine Learning Laptop PC

Wer in das Thema Machine Learning einsteigen möchte und aktuell sich mit dem Gedanken trägt einen Laptop für das Studium oder die Arbeit anzuschaffen findet vielleicht Gefallen an der nachfolgenden Empfehlung.

Wenn es ein Laptop werden soll dann muss klar sein, dass das Training von neuronalen Netzen auch schnell mal mehrere Tage dauern kann. Daher ist ein Laptop mit Sicherheit nicht Ideal aber für einen Einstieg in das Thema AI sehr interessant. Wenn der Laptop unter voller Last mehrere Tage arbeitet dann muss auch die Abwärme aus dem Gerät heraus. Daher empfiehlt es sich mindestens ein 17“ Gerät zu kaufen damit die Packungsdichte der einzelnen Komponenten nicht so hoch ist und genügend Plätz für Kühlkörper, Heatpipes und Lüfter bleibt.

Da das Training von neuronalen Netzen eher nicht spannend von der grafischen Aussage ist kann beim Display bares Geld gespart werden. Hier kann zwischen Gamer Display mit einer hohen Wiederholrate jenseits der 200 Hz und der Gruppe von Displays mit hoher Auflösung unterschieden werden. Generell würde eine einfache HD Auflösung in diesem Laptop reichen bei einer normalen Bildwiederholungsrate von 100Hz. Das so eingesparte Geld kann dann in die Hardware für die CPU oder eben für die Grafikkarte ausgegeben werden.

Wenn Deep Learning bzw. Machine Learning Anwendungen auf dem Laptop ausgeführt werden sollen, sollte man wenn möglich auf die mobile Version der GPU verzichten und sich ein Gerät mit voller Desktop GPU anschaffen. Das birgt aber das Risiko das der Rechner zusätzlich noch lauter wird wenn er unter Volllast steht und gekühlt werden muss. Dennoch ist eine mobile Version einer GPU immer noch schneller als eine typische mobile Version einer CPU. Diese Aussage mag für die aktuellen M1 MAX Prozessoren nicht gelten die ich aber selber noch nicht testen konnte.

Ein Laptop der diese Anforderungen entsprechen würde wäre z. B. das folgende Modell der Firma MIFCOM das je nach Kundenwunsch auch individuell angepasst werden kann.

Workstation Laptop R9 5900HX – RTX 3070 (17.3″)

Hinweis: Dieses Laptop Modell wurde von mir noch nicht getestet und nur anhand seiner Leistungsdaten aus dem Konfigurator hier als Ausgangsmodell für eine individuelle Konfiguration vorgeschlagen.

URL zum Konfigurator:

https://www.mifcom.de/workstation-laptop-r9-5900hx-rtx-3070-17-3-id15460?configurator

Deep Learning Workstation PC

Für alle die nicht nur einen Computer für das Gaming von anspruchsvollen Speilen anschaffen möchten sondern auch den Einstieg in das Thema künstliche Intelligenz wagen möchten ist ein Desktop PC zu empfehlen. Der Vorteil eines Desktop Rechner ist die Möglichkeit zu haben viel Rechenleistung bei geringer Geräuschentwicklung in einen Workstation Rechner zu verbauen was bei einem Laptop so schwierig ist aufgrund der kleinen schnell drehenden Lüfter.

Hinweis: Kühlung

Sehr zu empfehlen sind eine Wassergekühlte CPU und idealerweise auch eine Wassergekühlte GPU um die Geräuschentwicklung so gering wie möglich zu halten. Persönlich habe ich bei meiner Eigenbau Workstation nur die CPU Wasser gekühlt. Die GPU, in meinem Fall eine NVIDIA A6000 privat auf Wasserkühlung umzubauen war mir technisch zu riskant. Wenn meine Workstation ein paar Tage unter Volllast läuft ist das Büro eigentlich nur mit einem Gehörschutz nach DIN EN 352-1:2002 und leichte Bekleidung für diese Zeit nutzbar. Dem Homeoffice sei Dank das die Kollegen in Onlinemeetings in diesem Fall nur gefragt haben ob man wohl aktuell in der Produktion seinen Arbeitsplatz habe wegen der Geräuschentwicklung und abgeschalteten Kamera…

Einer der großen Vorteile bei einem Deep Learning Workstation Rechner ist, dass je nach Budgetlage immer wieder Komponenten ausgetauscht oder erweitert werden können was im Fall eines Laptops nur eingeschränkt möglich ist.

Den eingangs zu diesem Kapitel genannten Empfehlungen folgend wäre eine Konfiguration wie die folgende für den ambitionierten Einstieg zu empfehlen. Eventuell würde noch eine große SSD Festplatte für die Verwaltung und Aufbewahrung der Trainingsdaten Sinn machen. Aber diese könnte immer noch später wenn der akute Bedarf besteht ergänzt werden. Je nach Einsatzort des Rechners ob Büro, Homeoffice, eventuell separaten Raum sowie verfügbaren Budget sollte der Einsatz einer Wasserkühlung der CPU und GPU in Erwägung gezogen werden.

Hinweis: Geräuschentwicklung

Privat für meine eigene Workstation und im Geschäftlichen Umfeld wurde vielfach das Gehäuse Define 7 XL von Fractal Design verbaut. Privat schätze ich das Gehäuse sehr da es viel Volumen im Gehäuse selber bietet für die Kühlung und dank der Matten für den Schallschutz kaum wahrzunehmen ist wenn die GPU nicht unter Last läuft. Auch ist es sehr gut erweiterbar und es können viele große langsam drehende und damit leise Lüfter verbaut werden.

Der folgende Rechner der Firma MIFCOM würde den Ansprüchen eines Einsteigermodells in das Thema Deep Learning bzw. künstliche Intelligenz bis auf die Wasserkühlung entsprechen.

Workstation Ryzen 9 5950X – RTX 3080 Dual

Hinweis:

Dieses Workstation Modell wurde noch nicht getestet und nur anhand seiner Leistungsdaten hier als Ausgangsmodell für eine individuelle Konfiguration vorgeschlagen.

URL zum Konfigurator:

https://www.mifcom.de/workstation-ryzen-9-5950x-rtx-3080-dual-id14873?configurator

Eigenbau Vorschlag Deep Learning Workstation PC

Der eigene Aufbau eines Rechners richtet sich an Privatpersonen die sich selber den Aufbau solch eines Rechners zutrauen. Da ich zu diesem Zeitpunkt noch nicht wusste wo ich überhaupt einen Rechner speziell zum Thema Deep Learning kaufen konnte und wie professionell solch ein Rechner dann aber auch wieder aufgebaut wäre hatte ich mich für den Eigenbau entschieden.

Hinweis:

Persönlich würde ich nicht mehr selber einen Rechner aufbauen da mir einfach die Erfahrung und Übung schon alleine beim Thema der Verkabelung fehlt wie diese einmal ordentlich und Luftströmungsoptimiert erfolgt.

Das folgende Bild zeigt eine professionell aufgebaute Workstation bei der die Kabel sauber im Gehäuse verlegt wurden.

MIFCOM 8TB storage capacity production

MIFCOM 8TB storage capacity production

Dennoch möchte ich für alle die selber ein Deep Learning System aufbauen möchten jetzt die von mir verbauten Komponenten hier auflisten. So entsteht einmal einen Eindruck was man alles braucht und wie mein eigener Rechner technisch konfiguriert ist.

Bei meinen Überlegungen für die Hardware hatte mich dafür entschieden die CPU zumindest Wassergekühlt zu betreiben. So habe ich einen sehr leisen Rechner wenn die Grafikkarte gerade nicht ein neuronales Netz trainiert.

Alle anderen Komponenten wie die Lüfter die im Gehäuse von Fractal Design bereits verbaut waren laufen sehr langsam und damit leise.

Komponentenübersicht meiner Konfiguration

Die folgenden Komponenten wurden im Frühjahr 2021 gekauft und das System wurde über das Jahr 2021 hinweg erweitert z. B. mit zusätzlichen Samsung 980 Pro Laufwerken.

Anzahl: Beschreibung:
1 AMD Ryzen™ 9 3950X
1 GIGABYTE X570 AORUS ULTRA
1 iCUE H150i ELITE CAPELLIX CPU-Flüssigkeitskühler – Corsair
2 Crucial DIMM 32 GB DDR4-4400 Kit
1 NVIDIA A6000 Grafikkarte
1 GIGABYTE P1000GM NETZTEIL GA-P1000GM
3 SAMSUNG 980 PRO 2 TB
1 ARCTIC WÄRMELEITP MX-4 4G ACTCP00002B
2 Kingston A400 480 GB, SSD – Betriebssystemelaufwerke
1 Fractal Design – Delfine XL – Gehäuse
2 SATA Kabel

 

Mit diesen Komponenten habe ich mir persönlich meinen eigenen Rechner aufgebaut mit dem ich immer noch sehr zufrieden bin.

Die folgende Abbildung zeigt das Innere meines selber aufgebauten Deep Learning Systems mit Wasser gekühlter CPU und NVIDIA A6000 Grafikkarte.

No Code AI Pipeline Deep Learning Computer setup

No Code AI Pipeline Deep Learning Computer setup

Das größte Manko für mich ist die Geräuschentwicklung der NVIDIA A6000 hier wäre eine Wassergekühlte Version deutlich angenehmer. Die Wasserkühlung sollte immer in Erwägung gezogen werden wenn nicht nur hin und wieder die GPU an ihr Limit gefahren wird und der Rechner in der Nähe von Menschen betrieben wird.

Da eine Menge Luft in solch einem Rechner bewegt wird möchte ich noch darauf Hinweise, dass das Gehäuse von Fractal Design bereits Staubfilter verbaut hat. Diese setzen sich auch regelmäßig voll mit einer Matte von feinem Staub. Ich möchte mir gar nicht vorstellen was passiert wäre wenn dieser ganze Staub seinen Weg durch den GPU Lüfter gefunden hätte.

  • Hinweis: Hardwarepreise

Die Preise die aktuell für Hardware aufgerufen werden machen einen Eigenbau immer unattraktiver. Hier bitte genau kalkulieren, vergleichen und abschätzen was man sich technisch selber zutraut und was ein fertiges System kostet.

Kauf Vorschlag kleinere Unternehmen und Forschung

Der hier vorgeschlagene Aufbau wurde von mir persönlich noch nicht 1:1 so getestet aber entspricht annähernd der Konfiguration die ich bereits auf meiner Arbeit ausgiebig nutzen konnte. Dennoch hoffe ich das die hier vorgestellten Konfigurationen helfen einen guten Überblick zu erhalten welche Hardware sich gut eignet. Sehr angenehm ist hier die verbaut Wasserkühlung die wenn der Rechner unter Volllast läuft alle Komponenten ideal kühlt und die Geräuschentwicklung sich in Grenzen hält. So ist es bei diesen Modellen von MIFCOM möglich den Rechner unter dem Schreibtisch zu betreiben und direkt neben dem Rechner noch zu arbeiten. Eine Voraussetzung ist allerdings eine Klimaanlage im Büro oder eben ein schattiges und generell kühles Büro.

Bei dem jetzt folgenden Vorschlag ist zu überlegen ob eventuell an der CPU und dem Speicher je nach Nutzung des Systems gespart werden könnte. Allerdings ist es so, dass je nach Anzahl der Nutzer und der Art der Nutzung des Systems die CPU durchaus unter Last geraten kann und der Speicher genutzt wird. Denn auch wenn mit der Zeit eventuell weniger neuronale Netze neu trainiert werden diese aber dafür von einer Vielzahl an Nutzern verwendet werden. Dann sind die CPU und der Speicher durchaus unter Last und Verwendung.

Hinweis:

Dieses Workstation Modell wurde noch nicht in dieser Konfiguration von mir getestet und nur anhand seiner Leistungsdaten und Erfahrungen hier als Ausgangsmodell für eine individuelle Konfiguration vorgeschlagen.

URL zum Konfigurator:

https://www.mifcom.de/boss-ryzen-tr-pro-3975wx-rtx-3090-dual-id15278?configurator


Artikelübersicht - Wie setze ich die AI Pipeline auf:

AI Pipeline - Vorstellung der Anleitung
AI Pipeline - Die No-Code AI Pipeline ein Überblick
AI Pipeline - Die drei Bestandteile der No-Code AI Pipeline
AI Pipeline - Grundlagen zum Thema AI Hardware
AI Pipeline - Hardware Beispiel-Konfigurationen
AI Pipeline - Software Installation der No-Code AI Pipeline
AI Pipeline - Labeltool Lite - Installation
AI Pipeline - Labeltool Lite Vorbereitung der Trainingsdaten
AI Pipeline - Labeltool Lite - Bedienung
AI Pipeline - Tensorflow-Object-Detection-Training-GUI - Installation
AI Pipeline - Tensorflow-Object-Detection-Training-GUI - Ausführen
AI Pipeline – Tensorflow-Object-Detection-Training-GUI - Bedienung
AI Pipeline - Tensorflow-Object-Detection-Training-GUI - Inference API testen des neuronalen Netzes
AI Pipeline - AI Image App Einrichten und Bedienen - Teil 1-2
AI Pipeline - AI Image App Einrichten und Bedienen - Teil 2-2
AI Pipeline - Trainingsdaten Download
AI Pipeline - Bilder und Video Anonymization API