Die DIY-Revolution: ETH Zürichs CyberRunner – Ein Durchbruch in der Robotik für Jeden
Das Forschungsteam der ETH Zürich hat mit ihrem Projekt CyberRunner einen bahnbrechenden Erfolg im...
Weiterlesen
Autor: Maker
ComfyUI für professionelle Stable Diffusion Workflows – Installation und Konfiguration
Nach wie vor begeistert mich das Thema Stable Diffusion und die Bildgenerierung. Um hier etwas...
Weiterlesen
Stable Video Diffusion: Kreative Videoclips mit KI erstellen leicht gemacht
Stability AI, das innovative Startup hinter der faszinierenden Bild-KI Stable Diffusion, hat...
Weiterlesen
Conversational Applikation – Arbeite mit Deinen Daten zusammen mit Large Language Modellen
Mit der hier vorgestellten Conversational Applikation die in die Kategorie der chatte mit z. B....
Weiterlesen
Conversational Applikation – Erstelle Deine Text Embeddings und Vektor Datenbank
Mit der kontinuierlichen Weiterentwicklung der Applikationen Chat with multiple PDF files wurde...
Weiterlesen- vLLM auf Gigabyte AI TOP ATOM installieren: Hochperformante LLM-Inference mit OpenAI-kompatibler API – Teil 3-3
Weitere Modelle herunterladen und lokal betreiben Nachdem ihr in Phase 4 bereits Modelle lokal heruntergeladen habt, könnt ihr jetzt zwischen verschiedenen Modellen wechseln, ohne sie neu herunterladen zu müssen. Um ein anderes bereits heruntergeladenes Modell zu verwenden, stoppt ihr den aktuellen Container und startet ihn mit dem gewünschten Modell neu. Zuerst stoppe ich den aktuellen… vLLM auf Gigabyte AI TOP ATOM installieren: Hochperformante LLM-Inference mit OpenAI-kompatibler API – Teil 3-3 weiterlesen - vLLM auf Gigabyte AI TOP ATOM installieren: Hochperformante LLM-Inference mit OpenAI-kompatibler API – Teil 2-3
vLLM für Production-Deployment konfigurieren (komplexer) Für einen Production-Einsatz möchte ich den Container im Hintergrund laufen lassen und sicherstellen, dass er nach einem Neustart automatisch startet. Außerdem mounte ich den Hugging Face Cache, damit Modelle nicht bei jedem Container-Start neu heruntergeladen werden müssen. Das spart euch die Zeit die sonst für den Download benötigt wird und… vLLM auf Gigabyte AI TOP ATOM installieren: Hochperformante LLM-Inference mit OpenAI-kompatibler API – Teil 2-3 weiterlesen - vLLM auf Gigabyte AI TOP ATOM installieren: Hochperformante LLM-Inference mit OpenAI-kompatibler API – Teil 1-3
Nachdem ich in meinen vorherigen Beiträgen gezeigt habe, wie ihr Ollama, Open WebUI, ComfyUI und LLaMA Factory auf dem Gigabyte AI TOP ATOM installiert, kommt jetzt etwas für alle, die maximale Performance beim Ausführen von Large Language Models benötigen: vLLM – eine hochperformante Inference-Engine, die speziell darauf ausgelegt ist, LLMs mit maximalem Durchsatz und minimalem… vLLM auf Gigabyte AI TOP ATOM installieren: Hochperformante LLM-Inference mit OpenAI-kompatibler API – Teil 1-3 weiterlesen - LLaMA Factory auf Gigabyte AI TOP ATOM installieren: Sprachmodelle mit LoRA und QLoRA fine-tunen Teil 2-2
Phase 7: Fine-Tuning Training starten Bevor ich das Training starte, muss ich möglicherweise beim Hugging Face Hub einloggen, falls das Modell gated ist (Zugriffsbeschränkungen hat). Für öffentliche Modelle ist das nicht notwendig: Befehl: huggingface-cli login Ihr werdet nach eurem Hugging Face Token gefragt. Diesen findet ihr in euren Hugging Face Account-Einstellungen unter https://huggingface.co/settings/tokens. Hinweis: Nach… LLaMA Factory auf Gigabyte AI TOP ATOM installieren: Sprachmodelle mit LoRA und QLoRA fine-tunen Teil 2-2 weiterlesen - LLaMA Factory auf Gigabyte AI TOP ATOM installieren: Sprachmodelle mit LoRA und QLoRA fine-tunen Teil 1-2Nachdem ich in meinen vorherigen Beiträgen gezeigt habe, wie ihr Ollama, Open WebUI und ComfyUI auf dem Gigabyte AI TOP ATOM installiert, kommt jetzt etwas für alle, die ihre eigenen Sprachmodelle anpassen also individuelle gestalten möchten: LLaMA Factory – ein Open-Source-Framework, das das Fine-Tuning von Large Language Models vereinfacht und Methoden wie LoRA, QLoRA und… LLaMA Factory auf Gigabyte AI TOP ATOM installieren: Sprachmodelle mit LoRA und QLoRA fine-tunen Teil 1-2 weiterlesen
Ein toller Guide der leicht zugänglich und verständlich ist. Perfekt für ein kleines Side-Project geeignet. Aktuell half mir noch mein…
Thank you for this great tutorial, could you share n8n workflow and comfyui workflow please?
Hallo Anton, die Meldung besagt das in meinem Beisiel Methoden verwendet werden die veraltet (deprecated) sind. Also müsstest Du die…
Danke für das Tool! Ich habe erst kürzlich angefangen mich mit der Thematik zu beschäftigen und bin für meine Erwartungen…
Hallo, ich habe ihre Anleitung befolgt und bekomme im letzten Schritt leider immer folgende Meldung im Terminal: bash <(wget -qO-…