LLM Agenten arbeiten eigenständig – mit CrewAI automatisieren
In diesem Beitrag möchte ich euch meine Anwendung vorstellen die in der Lage ist im Internet...
Alle
Bestbewertet
Mein KI Cockpit für die Souveränität: Open WebUI als ChatGPT Web-Interface für Deinen Ollama-Server
Du hast den ersten großen Schritt getan: Dein eigner, unabhängiger Ollama-Server läuft, die Tokens...
Alle
Neueste
vLLM optimieren: Quantisierung, Multi-GPU-Troubleshooting und Agentenbetrieb mit Qwen3.8-27B
Im ersten Teil habe ich vLLM auf meinen zwei RTX A6000 installiert und Qwen3.8-27B im vollen BF16...
vLLM optimieren: Quantisierung, Multi-GPU-Troubleshooting und Agentenbetrieb mit Qwen3.8-27B
Im ersten Teil habe ich vLLM auf meinen zwei RTX A6000 installiert und Qwen3.8-27B im vollen BF16...
Weiterlesen
vLLM auf zwei RTX A6000 installieren: Treiber, Setup und erster Start mit Qwen3.8-27B
vLLM ist eine schnelle Inferenz-Engine für lokale Sprachmodelle. In diesem Beitrag richte ich das...
Weiterlesen
Souveräne KI: Mein neues Buch ist da
Es ist da. Mein neues Buch „Souveräne KI“ ist im Rheinwerk Verlag erschienen und wird seit...
Weiterlesen
Sound Box: Ein Soundeffekt-Generator für Kinder, komplett lokal erzeugt
Ein Kind tippt auf einen Wolf. In weniger als drei Sekunden heult es aus dem Lautsprecher. Kein...
Weiterlesen
Stable Audio 3 Small SFX auf dem eigenen Server: Installation, Konfiguration und erster Smoke Test 2/2
Phase 5: Der eigene API Dienst mit FastAPI Bis hierhin läuft alles auf dem Server selbst. Jetzt...
Weiterlesen
Stable Audio 3 Small SFX auf dem eigenen Server: Installation, Konfiguration und erster Smoke Test 1/2
Soundeffekte per Textprompt erzeugen, komplett lokal und ohne Cloud. Genau das leistet Stable...
Weiterlesen
Mein neues Buch
Souveräne KI
Strategie und Aufbau der eigenen Open-Source-Infrastruktur
Eigene LLMs betreiben, unabhängig von der Cloud. Von der Hardware bis zum laufenden System.
Jetzt bei Amazon bestellenRoboter-Autos mit dem ESP32
Bauen, programmieren, steuern
Vom ersten Chassis bis zur WLAN-Steuerung. Schritt für Schritt zum eigenen Roboter-Auto.
Jetzt bei Amazon bestellenBuch und E-Book, Rheinwerk Verlag
Werbung / Affiliate-Link
- vLLM optimieren: Quantisierung, Multi-GPU-Troubleshooting und Agentenbetrieb mit Qwen3.8-27B
Im ersten Teil habe ich vLLM auf meinen zwei RTX A6000 installiert und Qwen3.8-27B im vollen BF16 zum Laufen gebracht. Das funktionierte, aber im Alltag hat mich das Ergebnis nicht überzeugt. Beide Karten waren permanent belegt, nur um ein einziges Modell über Tensor Parallel zu bedienen, und beim agentischen Coden mit OpenCode fühlte sich das… Weiterlesen: vLLM optimieren: Quantisierung, Multi-GPU-Troubleshooting und Agentenbetrieb mit Qwen3.8-27B - vLLM auf zwei RTX A6000 installieren: Treiber, Setup und erster Start mit Qwen3.8-27B
vLLM ist eine schnelle Inferenz-Engine für lokale Sprachmodelle. In diesem Beitrag richte ich das Qwen3.8-27B Modell auf zwei RTX A6000 ein. Der Hauptgrund, warum ich von Ollama jetzt einmal weggehen möchte, ist das agentische Entwickeln von Software mit Qwen3.8-27B. Und ich kann nur bei vLLM das Reasoning etwas beschränken, was bei Ollama so nicht möglich… Weiterlesen: vLLM auf zwei RTX A6000 installieren: Treiber, Setup und erster Start mit Qwen3.8-27B - Souveräne KI: Mein neues Buch ist da
Es ist da. Mein neues Buch „Souveräne KI“ ist im Rheinwerk Verlag erschienen und wird seit Ende August ausgeliefert. Die ersten Exemplare sind bereits bei Lesern angekommen. Die Idee zum Buch entstand hier auf dem Blog und im Sommerurlaub 2025. Über die Jahre habe ich Ollama-Server aufgesetzt, Open WebUI eingerichtet, Stable Diffusion und Stable Audio… Weiterlesen: Souveräne KI: Mein neues Buch ist da - Sound Box: Ein Soundeffekt-Generator für Kinder, komplett lokal erzeugt
Ein Kind tippt auf einen Wolf. In weniger als drei Sekunden heult es aus dem Lautsprecher. Kein Sample aus einer Bibliothek. Sondern ein Klang, den ein KI-Modell in genau diesem Moment erzeugt hat, auf einem Rechner im eigenen Büro oder Keller. Das ist Sound Box. Und der Weg dorthin war interessanter als das Ergebnis. In… Weiterlesen: Sound Box: Ein Soundeffekt-Generator für Kinder, komplett lokal erzeugt - Stable Audio 3 Small SFX auf dem eigenen Server: Installation, Konfiguration und erster Smoke Test 2/2
Phase 5: Der eigene API Dienst mit FastAPI Bis hierhin läuft alles auf dem Server selbst. Jetzt kommt der interessante Teil. Wir bauen einen HTTP Endpunkt, den Du von jedem Rechner im Netzwerk aufrufen kannst. Prompt rein, WAV Datei raus. Das Repository liefert dafür nur eine Gradio Oberfläche. Die ist für manuelles Ausprobieren nett, für… Weiterlesen: Stable Audio 3 Small SFX auf dem eigenen Server: Installation, Konfiguration und erster Smoke Test 2/2
Ein toller Guide der leicht zugänglich und verständlich ist. Perfekt für ein kleines Side-Project geeignet. Aktuell half mir noch mein…
Thank you for this great tutorial, could you share n8n workflow and comfyui workflow please?
Hallo Anton, die Meldung besagt das in meinem Beisiel Methoden verwendet werden die veraltet (deprecated) sind. Also müsstest Du die…
Danke für das Tool! Ich habe erst kürzlich angefangen mich mit der Thematik zu beschäftigen und bin für meine Erwartungen…
Hallo, ich habe ihre Anleitung befolgt und bekomme im letzten Schritt leider immer folgende Meldung im Terminal: bash <(wget -qO-…