ESP-Claw mit dem eigenen Ollama-Server verbinden – Konfiguration und erste Chats
Nachdem ich euch in Teil 3 meiner ESP-Claw-Serie gezeigt habe, wie ich eine eigene Board-Adaption...
Weiterlesen
Kategorie: Hardware
Ein neues Board zu ESP-Claw hinzufügen – meine Board-Adaption für das Guition JC1060P470
Nachdem ich euch in Teil 2 meiner ESP-Claw-Serie gezeigt habe, wie ich ESP-Claw zum ersten Mal...
Weiterlesen
Ubuntu 24.04 Server für KI-Inferenz vorbereiten: CUDA, Docker, NVIDIA Container Toolkit
Egal ob ich später TensorRT-LLM, Ollama, vLLM oder ein anderes Container-basiertes...
Weiterlesen
ESP-IDF v5.5.4 einrichten und ESP-Claw bauen – Schritt für Schritt
Nachdem ich euch in Teil 1 meiner ESP-Claw-Serie die Vision vorgestellt habe, einen lokalen...
Weiterlesen
Souveräne KI auf dem Mikrocontroller: Wie ich mit ESP-Claw einen KI-Agenten auf HMI-Hardware zum Leben erwecke – Auftakt einer neuen Serie
Nachdem ich euch in meinen Beitrag zum Thema „Souveräne KI“ gezeigt habe, wie ich mit...
Weiterlesen
LibreChat auf Gigabyte AI TOP ATOM installieren: Professionelle Chat-Oberfläche für lokale LLM-Modelle
Nachdem ich in meinen vorherigen Beiträgen gezeigt habe, wie ihr Ollama, Open WebUI, ComfyUI,...
Weiterlesen
LM Studio auf Gigabyte AI TOP ATOM installieren: Benutzerfreundliche GUI mit OpenAI-kompatibler API für lokale LLMs
Nachdem ich in meinen vorherigen Beiträgen gezeigt habe, wie ihr Ollama, Open WebUI, LLaMA...
Weiterlesen
AI Toolkit auf Gigabyte AI TOP ATOM installieren – Schritt-für-Schritt Anleitung – Teil 2-2
Phase 8: Web-UI kompilieren und starten Jetzt kann ich die Web-UI kompilieren und starten. Zuerst...
Weiterlesen
AI Toolkit auf Gigabyte AI TOP ATOM installieren – Schritt-für-Schritt Anleitung – Teil 1-2
Nachdem ich in meinen vorherigen Beiträgen gezeigt habe, wie ihr Ollama, Open WebUI, LLaMA...
Weiterlesen
vLLM auf Gigabyte AI TOP ATOM installieren: Hochperformante LLM-Inference mit OpenAI-kompatibler API – Teil 3-3
Weitere Modelle herunterladen und lokal betreiben Nachdem ihr in Phase 4 bereits Modelle lokal...
Weiterlesen
vLLM auf Gigabyte AI TOP ATOM installieren: Hochperformante LLM-Inference mit OpenAI-kompatibler API – Teil 2-3
vLLM für Production-Deployment konfigurieren (komplexer) Für einen Production-Einsatz möchte ich...
Weiterlesen
vLLM auf Gigabyte AI TOP ATOM installieren: Hochperformante LLM-Inference mit OpenAI-kompatibler API – Teil 1-3
Nachdem ich in meinen vorherigen Beiträgen gezeigt habe, wie ihr Ollama, Open WebUI, ComfyUI und...
Weiterlesen
- ESP-Claw mit dem eigenen Ollama-Server verbinden – Konfiguration und erste Chats
Nachdem ich euch in Teil 3 meiner ESP-Claw-Serie gezeigt habe, wie ich eine eigene Board-Adaption für mein Guition JC1060P470 geschrieben habe, kommt jetzt der Moment, auf den ich die ganze Serie über hingearbeitet habe: Der erste echte Dialog zwischen meinem ESP32-P4-Board, ESP-Claw und meinem lokalen Ollama-Inferenz-Server. Hier endet die Grundlagenarbeit, und es beginnt der wirklich… ESP-Claw mit dem eigenen Ollama-Server verbinden – Konfiguration und erste Chats weiterlesen - NeMo Agent Toolkit – Multi-Agent Supervisor-Pattern lokal
Nachdem ich in meinem letzten Beitrag die ReAct-Schleife im Detail seziert und das erste eigene GPU-Status-Tool gebaut habe, folgt jetzt der nächste logische Schritt: Multi-Agent-Orchestrierung mit dem Supervisor-Pattern. Mehrere spezialisierte ReAct-Agenten, jeder mit seinem eigenen Toolset und seiner eigenen Identität, koordiniert durch einen übergeordneten Supervisor-Agent. Das ist der Punkt, an dem aus „mein Agent kann… NeMo Agent Toolkit – Multi-Agent Supervisor-Pattern lokal weiterlesen - NeMo Agent Toolkit auf der RTX A6000 Ada – vom Inferenz-Layer zum Orchestrator-Layer
In meiner vierteiligen TensorRT-LLM-Serie habe ich gezeigt, wie ich Inferenz-Performance auf der RTX A6000 Ada optimiere und 251 Tokens/sec mit Qwen-2.5-7B in FP8, deploybare .engine-Dateien, alles sauber reproduzierbar. Aber dabei hatte ich nur einen Teil des Stacks gebaut: den Inferenz-Layer. Inspiriert von dem allgegenwärtigen GenAI Agenten Veröffentlichungen ist mir klar geworden: ein produktiver AI-Stack besteht… NeMo Agent Toolkit auf der RTX A6000 Ada – vom Inferenz-Layer zum Orchestrator-Layer weiterlesen - Ein neues Board zu ESP-Claw hinzufügen – meine Board-Adaption für das Guition JC1060P470
Nachdem ich euch in Teil 2 meiner ESP-Claw-Serie gezeigt habe, wie ich ESP-Claw zum ersten Mal kompiliert habe, kommen wir heute zum vermutlich kniffligsten Teil des ganzen Projekts: Wie bringe ich ESP-Claw dazu, mein Guition JC1060P470 als unterstütztes Board zu erkennen? Wer Teil 2 gelesen hat, weiß: Mein erfolgreicher Build war für den ESP32-P4 Function… Ein neues Board zu ESP-Claw hinzufügen – meine Board-Adaption für das Guition JC1060P470 weiterlesen - Ubuntu 24.04 Server für KI-Inferenz vorbereiten: CUDA, Docker, NVIDIA Container Toolkit
Egal ob ich später TensorRT-LLM, Ollama, vLLM oder ein anderes Container-basiertes Inferenz-Framework auf meinem Server laufen lassen will die Grundinstallation ist immer dieselbe: ein aktuelles Ubuntu, der passende NVIDIA-Treiber, Docker, und das NVIDIA Container Toolkit, damit Container überhaupt Zugriff auf die GPU bekommen. In diesem Beitrag zeige ich dir mein eigenes Setup-Skript server_setup.sh, das diese… Ubuntu 24.04 Server für KI-Inferenz vorbereiten: CUDA, Docker, NVIDIA Container Toolkit weiterlesen
Ein toller Guide der leicht zugänglich und verständlich ist. Perfekt für ein kleines Side-Project geeignet. Aktuell half mir noch mein…
Thank you for this great tutorial, could you share n8n workflow and comfyui workflow please?
Hallo Anton, die Meldung besagt das in meinem Beisiel Methoden verwendet werden die veraltet (deprecated) sind. Also müsstest Du die…
Danke für das Tool! Ich habe erst kürzlich angefangen mich mit der Thematik zu beschäftigen und bin für meine Erwartungen…
Hallo, ich habe ihre Anleitung befolgt und bekomme im letzten Schritt leider immer folgende Meldung im Terminal: bash <(wget -qO-…