Schlagwort: nvidia

Wird geladen

Latest Posts

  • Conversational Applikation – Arbeite mit Deinen Daten zusammen mit Large Language Modellen
    Mit der hier vorgestellten Conversational Applikation die in die Kategorie der chatte mit z. B. PDF Dateien fällt habe ich mein persönliches Ziel verfolgt das Thema der großen Sprachenmodelle (Large Language Models LLM) für mich zu erarbeiten. Mein Ziel dabei war es nicht einfach einen Service wie von OpenAI mit der ChatGPT API zu verwenden  … Weiterlesen
  • Conversational Applikation – Erstelle Deine Text Embeddings und Vektor Datenbank
    Mit der kontinuierlichen Weiterentwicklung der Applikationen Chat with multiple PDF files wurde mir schnell bewusst, dass die richtige Datenaufbereitung und effiziente Datenbereitstellung entscheidende Erfolgsfaktoren für die reibungslose Funktionsweise dieser Conversational Anwendungen sind. In diesem Zusammenhang entstand bei mir die Idee bzw. der Bedarf zur Entwicklung eines eigenständigen Programms mit dem Namen Create your local vector  … Weiterlesen
  • Chatbot Llama 2 70B – lokal in einem jupyter notebook laufen lassen
    Mit diesem Beitrag möchte ich euch helfen lokal unter Ubuntu 22.04 Llama 2 in der 70B Version auf einer NVIDIA A6000 laufen zu lassen. Natürlich geht das nicht ohne weiteres da das klassische Llama 2 70B Modell einen GPU Speicher von ca. 280GB benötigt in der Float32 Bit Version. Aber quantisiert man das Modell auf  … Weiterlesen
  • AnyLabeling – Installationsanleitung und Erfahrungsbericht
    Viele Daten und dazu passende Labels sind sehr wichtig für das Training von neuronalen Netzen. Daher sind Label-Tools ein wesentlicher Bestandteil in der Aufbereitung von Daten. Funktioniert das Labeling einfach und schnell umso mehr Zeit spart man sich beim Aufbereiten der Daten und später beim Training der neuronalen Netze. Seit Anfang 2023 gibt es als  … Weiterlesen
  • oobabooga – text-generation-webui mit Llama 2 – lokale Installation
    Ich wollte schon immer mal ein Llama Modell von META ausprobieren und mit der Veröffentlichung von Llama 2 war es dann soweit das ich mich auf die Suche begeben habe wie ich dieses auf meinem Rechner lokal einrichten kann. Es gibt verschiedene Anleitungen aber das beste Framework das ich finden konnte war oobabooga welches auch  … Weiterlesen