Schlagwort: inference

In diesem Beitrag möchte ich euch meine Anwendung vorstellen die in der Lage ist im Internet eingeständig Themen zu recherchieren und zu analysieren. Als ergebnis wird dann ein Bericht geschrieben der die wesentlichen Punkte enthält und je nach Anforderungen auch Empfehlungen aussprechen kann oder Trends aufzeigt. Für mich sind diese AI-Agenten die mit der Hilfe … Weiterlesen: LLM Agenten arbeiten eigenständig – mit CrewAI automatisieren

In den letzten Jahren hat künstliche Intelligenz, insbesondere seit dem Launch von ChatGPT (OpenAI) im November 2022, enorm an Bedeutung gewonnen. Ich hatte mitte März 2024 mit einem Gründer eines Startups ein interessantes Gespräch der mir erklärte das seine Kunden aus dem Mittelstand KMU die großen Anbieter von Künstliche-Intelligenz-as-a-Service” (AIaaS) oder “Natural-Language-Processing-as-a-Service” (NLPaaS) meiden aus … Weiterlesen: Mittelständische Unternehmen – On-Premise-Nutzung von ChatGPT Sprachenmodellen als Alternativen zu Cloud Services

Nach dem ich Ollama als Server bereits installiert hatte und das ein oder andere Python-Programm geschrieben hatte das die API Schnittstelle sowie die dahinter liegenden Sprachenmodelle genutzt haben weckte Open-WebUi für Ollama mein Interesse. So ist dieser Beitrag hier entstanden der beschreibt wie Ihr Open-WebUi installiert und nutzen könnte. Im unteren Teil nach dem Einrichten … Weiterlesen: Open-WebUi – Ollama

Vom technischen Anspruch und der Architektur ist diese Lösung nicht sehr komplex und daher ideal für den Einstieg in das Thema der großen Sprachenmodelle geeignet. Auch stellt sich garantiert ein erstes Erfolgserlebnis sehr schnell ein. Alle verwendeten Komponenten lassen sich leicht installieren und miteinander kombinieren. Ich bin der nachfolgenden Beschreibung gefolgt und habe diese noch … Weiterlesen: RAG Chat-Applikation – Langchain + Ollama + Streamlit

Diese kleine Anleitung baut sich aus mehreren Beiträgen auf und führt euch Schritt für Schritt von der Installation bis zur fertigen Applikation. So ist die Anleitung zunächst einmal aufgebaut, dass Ollama installiert wird. Ollama wird als Server eingesetzt das die verschiedenen Sprachenmodelle bereitstellt. Der große Vorteil von Ollama (https://github.com/ollama/ollama) ist es, dass es verschiedene Sprachenmodelle … Weiterlesen: Ollama Ubuntu Installation und Konfiguration