LLM Agenten arbeiten eigenständig – mit CrewAI automatisieren
In diesem Beitrag möchte ich euch meine Anwendung vorstellen die in der Lage ist im Internet...
Alle
Bestbewertet
Mein KI Cockpit für die Souveränität: Open WebUI als ChatGPT Web-Interface für Deinen Ollama-Server
Du hast den ersten großen Schritt getan: Dein eigner, unabhängiger Ollama-Server läuft, die Tokens...
Alle
Neueste
NeMo Agent Toolkit auf der RTX A6000 Ada – vom Inferenz-Layer zum Orchestrator-Layer
In meiner vierteiligen TensorRT-LLM-Serie habe ich gezeigt, wie ich Inferenz-Performance auf der...
NeMo Agent Toolkit auf der RTX A6000 Ada – vom Inferenz-Layer zum Orchestrator-Layer
In meiner vierteiligen TensorRT-LLM-Serie habe ich gezeigt, wie ich Inferenz-Performance auf der...
Weiterlesen
Ein neues Board zu ESP-Claw hinzufügen – meine Board-Adaption für das Guition JC1060P470
Nachdem ich euch in Teil 2 meiner ESP-Claw-Serie gezeigt habe, wie ich ESP-Claw zum ersten Mal...
Weiterlesen
Ubuntu 24.04 Server für KI-Inferenz vorbereiten: CUDA, Docker, NVIDIA Container Toolkit
Egal ob ich später TensorRT-LLM, Ollama, vLLM oder ein anderes Container-basiertes...
Weiterlesen
TensorRT-LLM in Zahlen: FP16 vs. FP8 auf der RTX A6000 Ada
In den ersten drei Beiträgen dieser kleinen Serie habe ich erklärt, warum ich mir TensorRT-LLM auf...
Weiterlesen
TensorRT-LLM Pipeline: Persistente Engines bauen mit FP16 und FP8
Im zweiten Teil habe ich TensorRT-LLM im Docker-Container aufgesetzt und mit TinyLlama validiert,...
Weiterlesen
TensorRT-LLM auf Ubuntu 24.04: Setup mit Docker und Helper-Skripten
Im vorherigen Teil habe ich beschrieben, warum ich mir TensorRT-LLM auf meiner RTX A6000 Ada...
Weiterlesen
- NeMo Agent Toolkit auf der RTX A6000 Ada – vom Inferenz-Layer zum Orchestrator-Layer
In meiner vierteiligen TensorRT-LLM-Serie habe ich gezeigt, wie ich Inferenz-Performance auf der RTX A6000 Ada optimiere und 251 Tokens/sec mit Qwen-2.5-7B in FP8, deploybare .engine-Dateien, alles sauber reproduzierbar. Aber dabei hatte ich nur einen Teil des Stacks gebaut: den Inferenz-Layer. Inspiriert von dem allgegenwärtigen GenAI Agenten Veröffentlichungen ist mir klar geworden: ein produktiver AI-Stack besteht… NeMo Agent Toolkit auf der RTX A6000 Ada – vom Inferenz-Layer zum Orchestrator-Layer weiterlesen - Ein neues Board zu ESP-Claw hinzufügen – meine Board-Adaption für das Guition JC1060P470
Nachdem ich euch in Teil 2 meiner ESP-Claw-Serie gezeigt habe, wie ich ESP-Claw zum ersten Mal kompiliert habe, kommen wir heute zum vermutlich kniffligsten Teil des ganzen Projekts: Wie bringe ich ESP-Claw dazu, mein Guition JC1060P470 als unterstütztes Board zu erkennen? Wer Teil 2 gelesen hat, weiß: Mein erfolgreicher Build war für den ESP32-P4 Function… Ein neues Board zu ESP-Claw hinzufügen – meine Board-Adaption für das Guition JC1060P470 weiterlesen - Ubuntu 24.04 Server für KI-Inferenz vorbereiten: CUDA, Docker, NVIDIA Container Toolkit
Egal ob ich später TensorRT-LLM, Ollama, vLLM oder ein anderes Container-basiertes Inferenz-Framework auf meinem Server laufen lassen will die Grundinstallation ist immer dieselbe: ein aktuelles Ubuntu, der passende NVIDIA-Treiber, Docker, und das NVIDIA Container Toolkit, damit Container überhaupt Zugriff auf die GPU bekommen. In diesem Beitrag zeige ich dir mein eigenes Setup-Skript server_setup.sh, das diese… Ubuntu 24.04 Server für KI-Inferenz vorbereiten: CUDA, Docker, NVIDIA Container Toolkit weiterlesen - TensorRT-LLM in Zahlen: FP16 vs. FP8 auf der RTX A6000 Ada
In den ersten drei Beiträgen dieser kleinen Serie habe ich erklärt, warum ich mir TensorRT-LLM auf der A6000 Ada vornehme (Teil 1), wie ich das Setup mit Docker und Helper-Skripten aufgebaut habe (Teil 2), und welche Build-Pipeline für FP16 und FP8 dahintersteckt (Teil 3). Jetzt zum spannendsten Teil: Die echten Zahlen und was sich daraus… TensorRT-LLM in Zahlen: FP16 vs. FP8 auf der RTX A6000 Ada weiterlesen - TensorRT-LLM Pipeline: Persistente Engines bauen mit FP16 und FP8
Im zweiten Teil habe ich TensorRT-LLM im Docker-Container aufgesetzt und mit TinyLlama validiert, dass die Pipeline grundsätzlich läuft. Dabei kam ein wichtiges Detail zum Vorschein: Die Standard-API from tensorrt_llm import LLM nutzt den PyTorch-Backend und produziert keine deploybare Engine-Datei. Für den klassischen Build-Once-Deploy-Many-Pattern und um eine Architektur zu erproben, die später auch auf Edge-LLM funktioniert… TensorRT-LLM Pipeline: Persistente Engines bauen mit FP16 und FP8 weiterlesen
Ein toller Guide der leicht zugänglich und verständlich ist. Perfekt für ein kleines Side-Project geeignet. Aktuell half mir noch mein…
Thank you for this great tutorial, could you share n8n workflow and comfyui workflow please?
Hallo Anton, die Meldung besagt das in meinem Beisiel Methoden verwendet werden die veraltet (deprecated) sind. Also müsstest Du die…
Danke für das Tool! Ich habe erst kürzlich angefangen mich mit der Thematik zu beschäftigen und bin für meine Erwartungen…
Hallo, ich habe ihre Anleitung befolgt und bekomme im letzten Schritt leider immer folgende Meldung im Terminal: bash <(wget -qO-…