Stable Audio 3 Small SFX auf dem eigenen Server: Installation, Konfiguration und erster Smoke Test 2/2
Phase 5: Der eigene API Dienst mit FastAPI Bis hierhin läuft alles auf dem Server selbst. Jetzt...
Weiterlesen
Schlagwort: CUDA
Stable Audio 3 Small SFX auf dem eigenen Server: Installation, Konfiguration und erster Smoke Test 1/2
Soundeffekte per Textprompt erzeugen, komplett lokal und ohne Cloud. Genau das leistet Stable...
Weiterlesen
Docling als Netzwerkdienst im Heimnetz: die Basis für ein LLM Wiki
Warum Docling im eigenen Netzwerk? Docling ist ein Open-Source-Werkzeug von IBM, das Dokumente in...
Weiterlesen
Ubuntu 24.04 Server für KI-Inferenz vorbereiten: CUDA, Docker, NVIDIA Container Toolkit
Egal ob ich später TensorRT-LLM, Ollama, vLLM oder ein anderes Container-basiertes...
Weiterlesen
Chatterbox TTS: Modulare Text-to-Speech-Lösung – Teil 2
Nach dem im Teil 1 bereits die Lösung im Detail vorgestellt wurde und die Architektur erläutert...
Weiterlesen
Chatterbox TTS: Modulare Text-to-Speech-Lösung – Teil 1
Ein Bekannter hat mir Chatterbox empfohlen mich damit einmal zu beschäftigen. Er nutzt Chatterbox...
Weiterlesen
So skalierst du Ollama mit zwei oder mehr GPUs – Parallele Instanzen für maximale Performance
Wer einen leistungsstarken Server mit zwei NVIDIA GPUs (wie z.B. zwei RTX A6000) betreibt, stößt...
Weiterlesen
Landminen-Erkennung in Echtzeit: Integration von FLIR-Kameramodul, RGB-Kamera und neuronalem YOLO-Netzwerk
Den ersten Roboter, mit dem ich nach Landminen/Metallen im Boden suchte, baute ich 2015 selbst in...
Weiterlesen
YOLOv5 – Optimierung der Trainingsdaten für die Erkennung von PFM-1 Antipersonenminen
Nach dem ich die ersten 31 Modelle trainiert habe für die Erkennung von Antipersonenminen ist mein...
Weiterlesen
YOLOv5 – Training eines neuronalen Netzes für die Erkennung von PFM-1 Antipersonenminen
Bei diesem Beitrag geht es darum ein neuronales Netz auf Basis von YOLOv5 zu trainieren. Dieses...
Weiterlesen
Mein neues Buch
Souveräne KI
Strategie und Aufbau der eigenen Open-Source-Infrastruktur
Eigene LLMs betreiben, unabhängig von der Cloud. Von der Hardware bis zum laufenden System.
Jetzt bei Amazon bestellenRoboter-Autos mit dem ESP32
Bauen, programmieren, steuern
Vom ersten Chassis bis zur WLAN-Steuerung. Schritt für Schritt zum eigenen Roboter-Auto.
Jetzt bei Amazon bestellenBuch und E-Book, Rheinwerk Verlag
Werbung / Affiliate-Link
- Zuhören und Sprechen: Der lokale Sprach-Stack für meinen digitalen Begleiter
Im ersten Artikel dieser Reihe habe ich beschrieben, warum ich mir einen digitalen Begleiter selbst baue. Ein Gerät für ältere Menschen, das zuhört, sich erinnert und antwortet. Mit einer klaren Vorgabe: Alles läuft im eigenen Haus, innerhalb der Familie auf lokaler Hardware. Für den digitalen Begleiter war es mir wichtig das dieser die Stimme versteht… Weiterlesen: Zuhören und Sprechen: Der lokale Sprach-Stack für meinen digitalen Begleiter - Samba-Freigabe unter Ubuntu einrichten und Verbindungsfehler unter Windows lösenIch nutze in meinem Homelab mehrere Ubuntu-Rechner. Auf die Dateien greife ich gerne bequem von meinem Windows-Rechner aus zu. Dafür ist Samba die einfachste Lösung. Die Einrichtung ist schnell erledigt. Trotzdem hatte ich zuletzt einen hartnäckigen Fehler beim Verbinden. Die Ursache lag am Ende gar nicht auf dem Ubuntu-Rechner, sondern unter Windows. Diesen Artikel schreibe… Weiterlesen: Samba-Freigabe unter Ubuntu einrichten und Verbindungsfehler unter Windows lösen
- Warum ich mir einen digitalen Begleiter selbst baue
Der Auslöser war eine einfache Frage. Welche KI-Assistenten gibt es eigentlich, die älteren Menschen den Tag strukturieren, für Ansprache sorgen und den Kontakt zur Familie halten? Die Antwort hat mich überrascht. Der Markt kann und bietet bereits erstaunlich viel. Er kann nur eines nicht, meine Lebensgeschichte gehört nur mir allein und ausgerechnet das ist der… Weiterlesen: Warum ich mir einen digitalen Begleiter selbst baue - Firecrawl mit vLLM betreiben: Zwei Modelle hinter einer Base-URL
Mein Firecrawl-Stack lief bisher gegen einen Ollama-Server. Das war bequem, denn Ollama liefert Chat-Modell und Embedding-Modell unter einer einzigen Adresse aus. Seit ich meine zwei RTX A6000 auf vLLM umgestellt habe, ist dieser Komfort weg. Und genau daran bin ich beim ersten Versuch gescheitert. Das Problem klingt banal, ist aber hartnäckig: vLLM serviert pro Instanz… Weiterlesen: Firecrawl mit vLLM betreiben: Zwei Modelle hinter einer Base-URL - NVIDIA DGX Spark: Qwen3.8-27B mit SGLang und Docker Compose aufsetzen
Nach meiner vLLM-Serie auf dem Dual-A6000-Server wollte ich wissen, wie sich Qwen3.8-27B auf der NVIDIA DGX Spark schlägt. Mein Ziel: ein lokales Modell als Backend für OpenCode, mit dem ich ESP32-Firmware schreiben, bauen und flashen lasse. Der Plan war zunächst vLLM. Am Ende ist es SGLang geworden. Warum, und wie die Installation Schritt für Schritt… Weiterlesen: NVIDIA DGX Spark: Qwen3.8-27B mit SGLang und Docker Compose aufsetzen
Ein toller Guide der leicht zugänglich und verständlich ist. Perfekt für ein kleines Side-Project geeignet. Aktuell half mir noch mein…
Thank you for this great tutorial, could you share n8n workflow and comfyui workflow please?
Hallo Anton, die Meldung besagt das in meinem Beisiel Methoden verwendet werden die veraltet (deprecated) sind. Also müsstest Du die…
Danke für das Tool! Ich habe erst kürzlich angefangen mich mit der Thematik zu beschäftigen und bin für meine Erwartungen…
Hallo, ich habe ihre Anleitung befolgt und bekomme im letzten Schritt leider immer folgende Meldung im Terminal: bash <(wget -qO-…