vLLM auf Gigabyte AI TOP ATOM installieren: Hochperformante LLM-Inference mit OpenAI-kompatibler API – Teil 3-3
Weitere Modelle herunterladen und lokal betreiben Nachdem ihr in Phase 4 bereits Modelle lokal...
Weiterlesen
Kategorie: Large Language Models
vLLM auf Gigabyte AI TOP ATOM installieren: Hochperformante LLM-Inference mit OpenAI-kompatibler API – Teil 2-3
vLLM für Production-Deployment konfigurieren (komplexer) Für einen Production-Einsatz möchte ich...
Weiterlesen
vLLM auf Gigabyte AI TOP ATOM installieren: Hochperformante LLM-Inference mit OpenAI-kompatibler API – Teil 1-3
Nachdem ich in meinen vorherigen Beiträgen gezeigt habe, wie ihr Ollama, Open WebUI, ComfyUI und...
Weiterlesen
LLaMA Factory auf Gigabyte AI TOP ATOM installieren: Sprachmodelle mit LoRA und QLoRA fine-tunen Teil 2-2
Phase 7: Fine-Tuning Training starten Bevor ich das Training starte, muss ich möglicherweise beim...
Weiterlesen
LLaMA Factory auf Gigabyte AI TOP ATOM installieren: Sprachmodelle mit LoRA und QLoRA fine-tunen Teil 1-2
Nachdem ich in meinen vorherigen Beiträgen gezeigt habe, wie ihr Ollama, Open WebUI und ComfyUI...
Weiterlesen
Open WebUI auf dem Gigabyte AI TOP ATOM: ChatGPT-ähnliche Chat-Oberfläche für das eigene Netzwerk
Nachdem ich im letzten Beitrag gezeigt habe, wie ihr Ollama auf dem Gigabyte AI TOP ATOM...
Weiterlesen
Ollama auf dem Gigabyte AI TOP ATOM: Zentraler LLM-Server für das gesamte Netzwerk
Wer mit Large Language Models experimentiert, kennt das Problem: Die lokale Hardware reicht oft...
Weiterlesen
Chatterbox TTS: Modulare Text-to-Speech-Lösung – Teil 2
Nach dem im Teil 1 bereits die Lösung im Detail vorgestellt wurde und die Architektur erläutert...
Weiterlesen
Chatterbox TTS: Modulare Text-to-Speech-Lösung – Teil 1
Ein Bekannter hat mir Chatterbox empfohlen mich damit einmal zu beschäftigen. Er nutzt Chatterbox...
Weiterlesen
Sprache verstehen: Ich stellen die Whisper + PyAnnote Diarisierungs-App vor
Die Fähigkeit, gesprochene Worte präzise in Text umzuwandeln, ist ein Wendepunkt für...
Weiterlesen
So skalierst du Ollama mit zwei oder mehr GPUs – Parallele Instanzen für maximale Performance
Wer einen leistungsstarken Server mit zwei NVIDIA GPUs (wie z.B. zwei RTX A6000) betreibt, stößt...
Weiterlesen
Dein persönlicher KI-Stylist: So baust du den Style Checker mit Qwen3-VL & Ollama!
Dein Style-Dilemma: Du stehst morgens vor dem Schrank, die Uhr tickt, und die ewige Frage brennt:...
Weiterlesen
- vLLM auf Gigabyte AI TOP ATOM installieren: Hochperformante LLM-Inference mit OpenAI-kompatibler API – Teil 3-3
Weitere Modelle herunterladen und lokal betreiben Nachdem ihr in Phase 4 bereits Modelle lokal heruntergeladen habt, könnt ihr jetzt zwischen verschiedenen Modellen wechseln, ohne sie neu herunterladen zu müssen. Um ein anderes bereits heruntergeladenes Modell zu verwenden, stoppt ihr den aktuellen Container und startet ihn mit dem gewünschten Modell neu. Zuerst stoppe ich den aktuellen… vLLM auf Gigabyte AI TOP ATOM installieren: Hochperformante LLM-Inference mit OpenAI-kompatibler API – Teil 3-3 weiterlesen - vLLM auf Gigabyte AI TOP ATOM installieren: Hochperformante LLM-Inference mit OpenAI-kompatibler API – Teil 2-3
vLLM für Production-Deployment konfigurieren (komplexer) Für einen Production-Einsatz möchte ich den Container im Hintergrund laufen lassen und sicherstellen, dass er nach einem Neustart automatisch startet. Außerdem mounte ich den Hugging Face Cache, damit Modelle nicht bei jedem Container-Start neu heruntergeladen werden müssen. Das spart euch die Zeit die sonst für den Download benötigt wird und… vLLM auf Gigabyte AI TOP ATOM installieren: Hochperformante LLM-Inference mit OpenAI-kompatibler API – Teil 2-3 weiterlesen - vLLM auf Gigabyte AI TOP ATOM installieren: Hochperformante LLM-Inference mit OpenAI-kompatibler API – Teil 1-3
Nachdem ich in meinen vorherigen Beiträgen gezeigt habe, wie ihr Ollama, Open WebUI, ComfyUI und LLaMA Factory auf dem Gigabyte AI TOP ATOM installiert, kommt jetzt etwas für alle, die maximale Performance beim Ausführen von Large Language Models benötigen: vLLM – eine hochperformante Inference-Engine, die speziell darauf ausgelegt ist, LLMs mit maximalem Durchsatz und minimalem… vLLM auf Gigabyte AI TOP ATOM installieren: Hochperformante LLM-Inference mit OpenAI-kompatibler API – Teil 1-3 weiterlesen - LLaMA Factory auf Gigabyte AI TOP ATOM installieren: Sprachmodelle mit LoRA und QLoRA fine-tunen Teil 2-2
Phase 7: Fine-Tuning Training starten Bevor ich das Training starte, muss ich möglicherweise beim Hugging Face Hub einloggen, falls das Modell gated ist (Zugriffsbeschränkungen hat). Für öffentliche Modelle ist das nicht notwendig: Befehl: huggingface-cli login Ihr werdet nach eurem Hugging Face Token gefragt. Diesen findet ihr in euren Hugging Face Account-Einstellungen unter https://huggingface.co/settings/tokens. Hinweis: Nach… LLaMA Factory auf Gigabyte AI TOP ATOM installieren: Sprachmodelle mit LoRA und QLoRA fine-tunen Teil 2-2 weiterlesen - LLaMA Factory auf Gigabyte AI TOP ATOM installieren: Sprachmodelle mit LoRA und QLoRA fine-tunen Teil 1-2Nachdem ich in meinen vorherigen Beiträgen gezeigt habe, wie ihr Ollama, Open WebUI und ComfyUI auf dem Gigabyte AI TOP ATOM installiert, kommt jetzt etwas für alle, die ihre eigenen Sprachmodelle anpassen also individuelle gestalten möchten: LLaMA Factory – ein Open-Source-Framework, das das Fine-Tuning von Large Language Models vereinfacht und Methoden wie LoRA, QLoRA und… LLaMA Factory auf Gigabyte AI TOP ATOM installieren: Sprachmodelle mit LoRA und QLoRA fine-tunen Teil 1-2 weiterlesen
Ein toller Guide der leicht zugänglich und verständlich ist. Perfekt für ein kleines Side-Project geeignet. Aktuell half mir noch mein…
Thank you for this great tutorial, could you share n8n workflow and comfyui workflow please?
Hallo Anton, die Meldung besagt das in meinem Beisiel Methoden verwendet werden die veraltet (deprecated) sind. Also müsstest Du die…
Danke für das Tool! Ich habe erst kürzlich angefangen mich mit der Thematik zu beschäftigen und bin für meine Erwartungen…
Hallo, ich habe ihre Anleitung befolgt und bekomme im letzten Schritt leider immer folgende Meldung im Terminal: bash <(wget -qO-…