So skalierst du Ollama mit zwei oder mehr GPUs – Parallele Instanzen für maximale Performance
Wer einen leistungsstarken Server mit zwei NVIDIA GPUs (wie z.B. zwei RTX A6000) betreibt, stößt...
Weiterlesen
Schlagwort: Local LLM
- Chatterbox TTS: Modulare Text-to-Speech-Lösung – Teil 2
Nach dem im Teil 1 bereits die Lösung im Detail vorgestellt wurde und die Architektur erläutert wurde geht es jetzt im Teil 2 um die Installation und Konfiguration der Lösung. Installation und Einrichtung der virtuellen Python-Umgebung Um eine saubere und reproduzierbare Umgebung zu gewährleisten, verwende ich eine dedizierte Python Virtual Environment (venv). Das hat sich… Chatterbox TTS: Modulare Text-to-Speech-Lösung – Teil 2 weiterlesen - Chatterbox TTS: Modulare Text-to-Speech-Lösung – Teil 1
Ein Bekannter hat mir Chatterbox empfohlen mich damit einmal zu beschäftigen. Er nutzt Chatterbox als Sprachausgabe für einen Roboter den erzusammen mit seinem Sohn baut. Ich habe Chatterbox ausprobiert und bin begeistert. Daher wird es diesmal eine etwas umfassendere und praxisnahere Anleitung. Im Fokus für mich stand der Betrieb dieser kleinen aber feinen AI-Anwendungen auf… Chatterbox TTS: Modulare Text-to-Speech-Lösung – Teil 1 weiterlesen - Sprache verstehen: Ich stellen die Whisper + PyAnnote Diarisierungs-App vor
Die Fähigkeit, gesprochene Worte präzise in Text umzuwandeln, ist ein Wendepunkt für Content-Ersteller, Forscher und alle, die mit Besprechungsaufzeichnungen, Interviews oder Videoinhalten arbeiten. Aber was wäre, wenn Sie die Worte nicht nur transkribieren, sondern auch sofort wissen könnten, wer was und wann gesagt hat? Willkommen bei der Whisper + PyAnnote Transcription & Speaker Diarization App… Sprache verstehen: Ich stellen die Whisper + PyAnnote Diarisierungs-App vor weiterlesen - So skalierst du Ollama mit zwei oder mehr GPUs – Parallele Instanzen für maximale Performance
Wer einen leistungsstarken Server mit zwei NVIDIA GPUs (wie z.B. zwei RTX A6000) betreibt, stößt bei der Standard-Installation von Ollama schnell auf ein Problem: Ollama verwaltet Anfragen standardmäßig in einer Warteschlange (Queue). Selbst mit 96 GB VRAM warten parallele Jobs oft aufeinander, anstatt gleichzeitig berechnet zu werden. Die Lösung? Wir lassen zwei getrennte Ollama-Instanzen laufen!… So skalierst du Ollama mit zwei oder mehr GPUs – Parallele Instanzen für maximale Performance weiterlesen - Dein persönlicher KI-Stylist: So baust du den Style Checker mit Qwen3-VL & Ollama!
Dein Style-Dilemma: Du stehst morgens vor dem Schrank, die Uhr tickt, und die ewige Frage brennt: Passt das Outfit für die Uni, das BBQ oder das erste Date? Brauchst du einen teuren Berater? Nein! Wir zeigen dir, wie du deinen eigenen, lokalen KI-Modeberater baust, der dir sofort Feedback gibt – von der Farbkombination bis zur… Dein persönlicher KI-Stylist: So baust du den Style Checker mit Qwen3-VL & Ollama! weiterlesen
Ein toller Guide der leicht zugänglich und verständlich ist. Perfekt für ein kleines Side-Project geeignet. Aktuell half mir noch mein…
Thank you for this great tutorial, could you share n8n workflow and comfyui workflow please?
Hallo Anton, die Meldung besagt das in meinem Beisiel Methoden verwendet werden die veraltet (deprecated) sind. Also müsstest Du die…
Danke für das Tool! Ich habe erst kürzlich angefangen mich mit der Thematik zu beschäftigen und bin für meine Erwartungen…
Hallo, ich habe ihre Anleitung befolgt und bekomme im letzten Schritt leider immer folgende Meldung im Terminal: bash <(wget -qO-…