RTX A6000 vs. AMD Radeon AI PRO R9700: Qwen3.6 im LLM-Benchmark
Meine beiden NVIDIA RTX A6000 haben inzwischen fünf Jahre auf dem Buckel. Sie stammen aus der...
Weiterlesen
Schlagwort: llama.cpp
llama-benchy: LLM-Benchmarks im llama-bench-Stil für jeden OpenAI-kompatiblen Endpoint
Wer wie ich seine Modelle lokal und souverän betreibt, kennt das Problem: Ich will wissen, wie...
Weiterlesen
LM Studio auf Gigabyte AI TOP ATOM installieren: Benutzerfreundliche GUI mit OpenAI-kompatibler API für lokale LLMs
Nachdem ich in meinen vorherigen Beiträgen gezeigt habe, wie ihr Ollama, Open WebUI, LLaMA...
Weiterlesen
- Synology DiskStation unter Ubuntu als Netzlaufwerk einbinden
Meine DiskStation ist die zentrale Datenablage im Heimnetz. Skripte, Backups und Modelldaten liegen dort. Unter Ubuntu will ich nicht jedes Mal den Dateimanager öffnen bzw. die Netzlaufwerkfreigabe von Hand suchen müssen. Ich will einen festen Pfad im Dateisystem. Genau das löst ein CIFS-Mount. In diesem Beitrag binde ich die Freigabe Daten der DiskStation mit der… Weiterlesen: Synology DiskStation unter Ubuntu als Netzlaufwerk einbinden - LLM-WIKI mit Ollama und Qwen3.8-27B lokal betreiben Teil 2-2
Schritt 5: Projekt anlegen Beim ersten Start legst du ein Projekt an. Ein Projekt ist ein Verzeichnis auf der Festplatte, das später dein Vault enthält. Wähle einen Ort, den du auch außerhalb der App erreichst, denn genau dort liegen die Markdown-Dateien. Die App bietet Vorlagen an, etwa General, Research, Reading oder Business. Sie legen unterschiedliche… Weiterlesen: LLM-WIKI mit Ollama und Qwen3.8-27B lokal betreiben Teil 2-2 - LLM-WIKI mit Ollama und Qwen3.8-27B lokal betreiben Teil 1-2
Die meisten Werkzeuge für eigene Dokumente arbeiten nach dem RAG-Prinzip: Bei jeder Frage werden die Quellen neu durchsucht, Textschnipsel herausgezogen und dem Modell vorgelegt. Das funktioniert, hat aber einen Nachteil. Das Wissen bleibt roh. Es entsteht keine Struktur, nichts wird verknüpft, und bei jeder Frage beginnt die Arbeit von vorn. Andrej Karpathy hat dazu ein… Weiterlesen: LLM-WIKI mit Ollama und Qwen3.8-27B lokal betreiben Teil 1-2 - Docling als Netzwerkdienst im Heimnetz: die Basis für ein LLM Wiki
Warum Docling im eigenen Netzwerk? Docling ist ein Open-Source-Werkzeug von IBM, das Dokumente in strukturiertes Markdown oder JSON umwandelt. PDF, DOCX, PPTX und HTML gehen hinein, sauber gegliederter Text mit erkannten Tabellen und extrahierten Grafiken kommt heraus. Genau das braucht man, wenn Dokumente für ein LLM nutzbar gemacht werden sollen. Bei mir ist Docling der… Weiterlesen: Docling als Netzwerkdienst im Heimnetz: die Basis für ein LLM Wiki - Dev-Umgebung für Claude Code einrichten: Ubuntu, GitHub und uv sauber aufsetzen
Ich entwickle in letzter Zeit immer öfter mit Claude Code. Und dabei ist mir eines schnell klar geworden. Bevor der erste Prompt läuft, braucht es eine saubere Entwicklungsumgebung. Sonst wird aus dem KI-Assistenten schnell ein Chaos-Assistent bzw. ein Assistent der viele Tokens verbraucht. Soll heißen den Anfang macht das Setup und die Konfiguration meines Ubuntu… Weiterlesen: Dev-Umgebung für Claude Code einrichten: Ubuntu, GitHub und uv sauber aufsetzen
Ein toller Guide der leicht zugänglich und verständlich ist. Perfekt für ein kleines Side-Project geeignet. Aktuell half mir noch mein…
Thank you for this great tutorial, could you share n8n workflow and comfyui workflow please?
Hallo Anton, die Meldung besagt das in meinem Beisiel Methoden verwendet werden die veraltet (deprecated) sind. Also müsstest Du die…
Danke für das Tool! Ich habe erst kürzlich angefangen mich mit der Thematik zu beschäftigen und bin für meine Erwartungen…
Hallo, ich habe ihre Anleitung befolgt und bekomme im letzten Schritt leider immer folgende Meldung im Terminal: bash <(wget -qO-…