LLM Agenten arbeiten eigenständig – mit CrewAI automatisieren
In diesem Beitrag möchte ich euch meine Anwendung vorstellen die in der Lage ist im Internet...
Alle
Bestbewertet
Mein KI Cockpit für die Souveränität: Open WebUI als ChatGPT Web-Interface für Deinen Ollama-Server
Du hast den ersten großen Schritt getan: Dein eigner, unabhängiger Ollama-Server läuft, die Tokens...
Alle
Neueste
RAGFlow auf Ubuntu Server installieren: RAG-System mit zwei NVIDIA RTX A6000 GPUs einrichten
Wer mit Large Language Modellen arbeitet und gleichzeitig große Mengen an Dokumenten analysieren...
RAGFlow auf Ubuntu Server installieren: RAG-System mit zwei NVIDIA RTX A6000 GPUs einrichten
Wer mit Large Language Modellen arbeitet und gleichzeitig große Mengen an Dokumenten analysieren...
Weiterlesen
AI Toolkit auf Gigabyte AI TOP ATOM installieren – Schritt-für-Schritt Anleitung – Teil 2-2
Phase 8: Web-UI kompilieren und starten Jetzt kann ich die Web-UI kompilieren und starten. Zuerst...
Weiterlesen
AI Toolkit auf Gigabyte AI TOP ATOM installieren – Schritt-für-Schritt Anleitung – Teil 1-2
Nachdem ich in meinen vorherigen Beiträgen gezeigt habe, wie ihr Ollama, Open WebUI, LLaMA...
Weiterlesen
vLLM auf Gigabyte AI TOP ATOM installieren: Hochperformante LLM-Inference mit OpenAI-kompatibler API – Teil 3-3
Weitere Modelle herunterladen und lokal betreiben Nachdem ihr in Phase 4 bereits Modelle lokal...
Weiterlesen
vLLM auf Gigabyte AI TOP ATOM installieren: Hochperformante LLM-Inference mit OpenAI-kompatibler API – Teil 2-3
vLLM für Production-Deployment konfigurieren (komplexer) Für einen Production-Einsatz möchte ich...
Weiterlesen
vLLM auf Gigabyte AI TOP ATOM installieren: Hochperformante LLM-Inference mit OpenAI-kompatibler API – Teil 1-3
Nachdem ich in meinen vorherigen Beiträgen gezeigt habe, wie ihr Ollama, Open WebUI, ComfyUI und...
Weiterlesen
- RAGFlow auf Ubuntu Server installieren: RAG-System mit zwei NVIDIA RTX A6000 GPUs einrichten
Wer mit Large Language Modellen arbeitet und gleichzeitig große Mengen an Dokumenten analysieren möchte, kennt das Problem: Einfache Chat-Interfaces reichen nicht aus, wenn es darum geht, spezifische Informationen aus PDFs, Word-Dokumenten oder anderen Dateiformaten zu extrahieren und zu verstehen. Für mich war die Lösung klar: Ich nutze RAGFlow auf meinem X86 Ubuntu Server mit zwei… RAGFlow auf Ubuntu Server installieren: RAG-System mit zwei NVIDIA RTX A6000 GPUs einrichten weiterlesen - AI Toolkit auf Gigabyte AI TOP ATOM installieren – Schritt-für-Schritt Anleitung – Teil 2-2
Phase 8: Web-UI kompilieren und starten Jetzt kann ich die Web-UI kompilieren und starten. Zuerst wechsle ich in das UI-Verzeichnis des AI Toolkits: Befehl: cd ui Falls ihr das AI Toolkit Repository noch nicht geklont habt, müsst ihr das zuerst tun. Das UI-Verzeichnis sollte sich im Root-Verzeichnis des AI Toolkit Repositories befinden. Jetzt starte ich… AI Toolkit auf Gigabyte AI TOP ATOM installieren – Schritt-für-Schritt Anleitung – Teil 2-2 weiterlesen - AI Toolkit auf Gigabyte AI TOP ATOM installieren – Schritt-für-Schritt Anleitung – Teil 1-2
Nachdem ich in meinen vorherigen Beiträgen gezeigt habe, wie ihr Ollama, Open WebUI, LLaMA Factory, vLLM und ComfyUI auf dem Gigabyte AI TOP ATOM installiert, kommt jetzt etwas für alle, die ihre eigenen Stable Diffusion AI-Modelle trainieren möchten: AI Toolkit von Ostris – eine umfassende Lösung für das Training von Stable Diffusion Modellen mit einer… AI Toolkit auf Gigabyte AI TOP ATOM installieren – Schritt-für-Schritt Anleitung – Teil 1-2 weiterlesen - vLLM auf Gigabyte AI TOP ATOM installieren: Hochperformante LLM-Inference mit OpenAI-kompatibler API – Teil 3-3
Weitere Modelle herunterladen und lokal betreiben Nachdem ihr in Phase 4 bereits Modelle lokal heruntergeladen habt, könnt ihr jetzt zwischen verschiedenen Modellen wechseln, ohne sie neu herunterladen zu müssen. Um ein anderes bereits heruntergeladenes Modell zu verwenden, stoppt ihr den aktuellen Container und startet ihn mit dem gewünschten Modell neu. Zuerst stoppe ich den aktuellen… vLLM auf Gigabyte AI TOP ATOM installieren: Hochperformante LLM-Inference mit OpenAI-kompatibler API – Teil 3-3 weiterlesen - vLLM auf Gigabyte AI TOP ATOM installieren: Hochperformante LLM-Inference mit OpenAI-kompatibler API – Teil 2-3
vLLM für Production-Deployment konfigurieren (komplexer) Für einen Production-Einsatz möchte ich den Container im Hintergrund laufen lassen und sicherstellen, dass er nach einem Neustart automatisch startet. Außerdem mounte ich den Hugging Face Cache, damit Modelle nicht bei jedem Container-Start neu heruntergeladen werden müssen. Das spart euch die Zeit die sonst für den Download benötigt wird und… vLLM auf Gigabyte AI TOP ATOM installieren: Hochperformante LLM-Inference mit OpenAI-kompatibler API – Teil 2-3 weiterlesen
Ein toller Guide der leicht zugänglich und verständlich ist. Perfekt für ein kleines Side-Project geeignet. Aktuell half mir noch mein…
Thank you for this great tutorial, could you share n8n workflow and comfyui workflow please?
Hallo Anton, die Meldung besagt das in meinem Beisiel Methoden verwendet werden die veraltet (deprecated) sind. Also müsstest Du die…
Danke für das Tool! Ich habe erst kürzlich angefangen mich mit der Thematik zu beschäftigen und bin für meine Erwartungen…
Hallo, ich habe ihre Anleitung befolgt und bekomme im letzten Schritt leider immer folgende Meldung im Terminal: bash <(wget -qO-…