Schlagwort: inference

Mit der hier vorgestellten Conversational Applikation die in die Kategorie der chatte mit z. B. PDF Dateien fällt habe ich mein persönliches Ziel verfolgt das Thema der großen Sprachenmodelle (Large Language Models LLM) für mich zu erarbeiten. Mein Ziel dabei war es nicht einfach einen Service wie von OpenAI mit der ChatGPT API zu verwenden  … Weiterlesen

Mit der kontinuierlichen Weiterentwicklung der Applikationen Chat with multiple PDF files wurde mir schnell bewusst, dass die richtige Datenaufbereitung und effiziente Datenbereitstellung entscheidende Erfolgsfaktoren für die reibungslose Funktionsweise dieser Conversational Anwendungen sind. In diesem Zusammenhang entstand bei mir die Idee bzw. der Bedarf zur Entwicklung eines eigenständigen Programms mit dem Namen Create your local vector  … Weiterlesen

Mit diesem Beitrag möchte ich euch helfen lokal unter Ubuntu 22.04 Llama 2 in der 70B Version auf einer NVIDIA A6000 laufen zu lassen. Natürlich geht das nicht ohne weiteres da das klassische Llama 2 70B Modell einen GPU Speicher von ca. 280GB benötigt in der Float32 Bit Version. Aber quantisiert man das Modell auf  … Weiterlesen

Viele Daten und dazu passende Labels sind sehr wichtig für das Training von neuronalen Netzen. Daher sind Label-Tools ein wesentlicher Bestandteil in der Aufbereitung von Daten. Funktioniert das Labeling einfach und schnell umso mehr Zeit spart man sich beim Aufbereiten der Daten und später beim Training der neuronalen Netze. Seit Anfang 2023 gibt es als  … Weiterlesen

Ich wollte schon immer mal ein Llama Modell von META ausprobieren und mit der Veröffentlichung von Llama 2 war es dann soweit das ich mich auf die Suche begeben habe wie ich dieses auf meinem Rechner lokal einrichten kann. Es gibt verschiedene Anleitungen aber das beste Framework das ich finden konnte war oobabooga welches auch  … Weiterlesen