Wie Sie Sie ein lokales LLM ausführen: Ein Leitfaden zu RAG mit dem OnLogic Karbon 804
Generative KI, die auf großen Sprachmodellen (Large Language Models, LLMs) basiert, hat das Potenzial, Unternehmen jeder Größe und Branche einen enormen Mehrwert zu bieten. Beliebte Beispiele wie ChatGPT haben die Leistungsfähigkeit dieser Modelle für verschiedene Aufgaben demonstriert, aber cloud-basierte LLM-Lösungen können Herausforderungen in Bezug auf Datensicherheit, Latenz und Offline-Implementierungen mit sich bringen.
Dieser Artikel zeigt, wie diese Einschränkungen durch die Implementierung eines lokalen LLMs auf dem Gerät durch Verwendung der Retrieval-Augmented Generation (RAG) überwunden werden können. Dieser Ansatz bringt die Leistung der KI durch lokale Modelle direkt zu Ihren Edge-Bereitstellungen. Durch die Nutzung eines Llama 3.1-Modells und einer lokalen Kontextdatenbank ermöglicht diese Lösung einen sicheren Zugriff auf firmeneigene Daten und liefert schnelle, präzise Antworten, auch ohne Internetverbindung. Erfahren Sie, wie Sie Ihre Edge-Implementierungen mit leistungsstarken KI-Funktionen ausstatten können, indem Sie Hardware vor Ort einsetzen.
Die Intelligenz auf dem Gerät erschließen: Warum lokale LLMs wichtig sind
Die meisten LLM-Interaktionen werden in der Cloud verarbeitet, in weit von der Datenquelle entfernten Rechenzentren berechnet und einfach auf einem lokalen Gerät abgerufen. Diese Strategie kann für KI-generierte Inhalte nützlich sein, die allgemeines Wissen oder einen zentralen Zugriff erfordern. Die meisten Geräte, die über eine Internetverbindung verfügen, können sie nutzen. Für Unternehmen, die die Leistung von KI mit ihren eigenen Daten nutzen möchten, sind diese cloud-basierten Lösungen jedoch in Bezug auf die Datensicherheit unzureichend und können die Kosten für Cloud-Computing schnell untragbar machen.
Zur Verringerung von Latenzzeiten und um Einschränkungen bei der Datenweitergabe, wie etwa geografische Gegebenheiten oder die Datensensibilität zu überwinden, kann die Verlagerung von Rechenleistung zum Edge eine optimale Lösung sein, um LLMs auszuführen. Wenn ein LLM beispielsweise Zugang zu sensiblen, geschützten Daten wie Gesundheitsdaten oder rechtlichen Informationen benötigt, bietet die Bereitstellung des Modells auf einem Edge-Gerät eine höhere Datensicherheit im Vergleich zur Übertragung über das Internet. Darüber hinaus können LLMs in Bereichen ohne angemessene Verbindungen eingesetzt werden, beispielsweise für die Fernüberwachung oder an Produktionsstandorten, die nicht über zuverlässige Verbindungen zu Cloud-Anbietern verfügen. Weitere Informationen über den Wert und die Bedeutung von KI am Edge finden Sie in unserem Artikel: Edge-KI-Architektur: Das Edge als Zuhause für KI.
In diesem Artikel beschreiben wir den Implementierungsprozess eines geräteinternen KI-Chatbots zur Beantwortung von Fragen zu den bereitgestellten Daten. In diesem Fall handelt es sich um Informationen zu OnLogic-Produkten. Da in diesem Szenario die KI über spezifisches und spezialisiertes Wissen verfügen muss, verwenden wir ein Konzept mit der Bezeichnung RAG. Damit stellen wir sicher, dass das Modell Zugang zu genauen Kontextinformationen hat, um jede Frage beantworten zu können.
Die Modellauswahl
Die lokale Ausführung von LLMs mag zunächst abschreckend wirken, aber es gibt eine Vielzahl kostenloser und Open-Source-Tools, mit denen sich der Entwicklungsprozess rationalisieren lässt. Der erste Schritt bei der Entwicklung einer kundenspezifischen KI-Lösung besteht darin, Ihre Leistungsziele zu verstehen. Für die Zwecke unseres Chatbots zur Produktinformation muss unser KI-Modell die unten aufgeführten Kriterien erfüllen.
Das LLM soll:
lokal ausgeführt werden
ein weithin verfügbares Open-Source-LLM sein
Fragen schnell und genau beantworten und dabei:
die Beantwortung in weniger als einer Sekunde beginnen
Text schneller ausgeben als der Durchschnitt an gelesenen Wörtern pro Minute
keine Informationen außerhalb der zugelassenen Datenquellen, in diesem Fall Produkthandbücher, bereitstellen
Auf der Grundlage dieser Ziele haben wir uns für die 8-Milliarden-Parameter-Version von Llama 3.1 entschieden, ein modernes, von Meta entwickeltes Open-Source-Sprachmodell. Es gibt zwar leistungsfähige firmeneigene Modelle, wie beispielsweise die von OpenAI, aber unser Schwerpunkt liegt hier auf der Demonstration einer robusten, lokal gehosteten Lösung, bei der Open-Source-Tools für verbesserte Kontrolle und Datenschutz eingesetzt werden. Wie viele bekannte Open-Source-Modelle ist auch Llama 3 auf dem Hugging Face Hub verfügbar und damit für den lokalen Einsatz leicht zugänglich. Llama 3.1 übertrifft ähnlich große Open-Source-Modelle in einer Reihe von LLM-Benchmarks, insbesondere bei der Argumentation und in den Kategorien der Werkzeugnutzung.
Wir sind zuversichtlich, dass wir ein kleineres Modell verwenden können, da unser RAG-Szenario ein LLM beinhaltet, das eine spezielle Aufgabe ausführt, die sich auf unsere eigenen Eingabedaten konzentriert. Unser Modell muss also nicht so groß sein, da wir kein umfangreiches, generalisiertes Wissen benötigen. Für Unternehmen mit sehr spezifischem Fachwissen oder speziellen Interaktionsmustern könnte die Feinabstimmung von Llama 3 auf eigenen Datensätzen seine Leistung und Relevanz weiter verbessern.
Die Hardwarekonfiguration
Wenn das LLM ausgewählt ist, können wir mit der Konfiguration eines Edge-Computers fortfahren, der das Modell effektiv ausführen kann. Bei großen Sprachmodellen (das Schlüsselwort ist „groß“) kann die Speicherkapazität schnell zu einem Engpass für die Ausführung werden. Wir müssen also sicherstellen, dass unsere Konfiguration das Modell mit etwas Spielraum für Arbeitsspeicher-Overhead verarbeiten kann. Zu diesem Zweck verwenden wir diese Gleichung für GPU-Arbeitsspeicher von Sam Stoelinga.
M = (P * 4B)(32 / Q)*1,2
Im Folgenden werden die einzelnen Elemente der Gleichung aufgeschlüsselt.
Symbol | Beschreibung |
|---|---|
M | GPU-Arbeitsspeicher, ausgedrückt in Gigabyte |
P | die Anzahl der Parameter im Modell |
4B | 4 Bytes, welche die für jeden Parameter verwendeten Bytes angeben |
32 | die Anzahl der Bits in 4 Bytes |
Q | die Anzahl der Bits, die für das Laden des Modells verwendet werden sollen (z. B. 16 Bits, 8 Bits oder 4 Bits) |
1,2 | stellt einen Overhead von 20 Prozent für das Laden zusätzlicher Elemente in den GPU-Arbeitsspeicher dar |
Unser Llama-Modell verwendet die Q4_K_M-Quantisierung (4-Bit) und hat 8 Milliarden Parameter:
M = (8 * 4B)(32 / 4) * 1,2 = 4,8 GB
Nach diesen Berechnungen wissen wir, dass wir auf den meisten dedizierten GPUs viel Arbeitsspeicher-Overhead haben werden, selbst wenn man den zusätzlichen Platz berücksichtigt, der für die Kontextdatenbank und das Einbettungsmodell benötigt wird. Wir werden den OnLogic Karbon 804 mit einer Nvidia A4000-GPU zur Ausführung des Modells verwenden. Das gibt uns reichlich Prozessorleistung, um unser LLM zu verarbeiten. Der Karbon 804 sorgt mit der entsprechenden Zuverlässigkeit dafür, dass unser Modell überall dort ausgeführt werden kann, wo es benötigt wird
Die OnLogic Karbon 804 war die ideale Wahl für die Durchführung unseres lokalen LLM.
Der OnLogic K804 ist ein erstklassiges, robustes Edge-Gerät für KI-Anwendungen. Er kann bei Temperaturen von -40 °C bis 70 °C betrieben werden und ist für verschiedene andere raue Bedingungen wie Feuchtigkeit, Stöße und Vibrationen ausgelegt. Am wichtigsten für uns ist, dass er Konfigurationen aufweist, die die Verarbeitungsleistung für LLM-Berechnungen und den Platz für bis zu zwei Single-Slot-GPUs bieten.
Retrieval-Augmented Generation (RAG)
Die nächste Komponente unserer KI-Lösung besteht darin, sicherzustellen, dass der Chatbot nur Daten aus den ihm bereitgestellten Quellen liefert. Wie bereits in der Einleitung erwähnt, werden wir ein KI-Konzept verwenden, das für Edge-Computing unglaublich nützlich ist: Retrieval-Augmented Generation (RAG).
RAG ist wichtig, weil LLMs die unglückliche Angewohnheit haben, Texte zu schreiben, die zwar richtig „klingen“, aber nicht auf der Wahrheit beruhen. Wenn das Modell nicht speziell für die Informationen geschult ist, die der Benutzer abrufen muss, besteht ein hohes Risiko, dass der Benutzer eine halluzinierte Antwort erhält. Die RAG-Technik stellt sicher, dass das Modell seine Antwort an den Benutzer mit einer Datenbank von akzeptierten Kontextquellen abgleicht. In unserem Fall handelt es sich dabei um die Handbücher der OnLogic-Produkte.
Unser System verwendet zwei Schlüsselmodelle. Zunächst analysiert ein Text-Embedding-Modell die Eingabeaufforderung und vergleicht sie semantisch mit unseren Kontextquellen. Auf diese Weise können wir die relevantesten Quellen identifizieren und abrufen, die dann zusammen mit der ursprünglichen Eingabeaufforderung an das Large Language Model (LLM) – in unserem Fall Llama – weitergegeben werden. Von dort aus generiert das Llama-Modell dann die endgültige Textausgabe.
Der Datenfluss für ein LLM mit RAG. Die Anfrage des Benutzers wird verwendet, um relevanten Kontext aus einer Datenbank zu finden, und sowohl die Anfrage als auch der Kontext werden dem Modell zur Verfügung gestellt.
Eine Beispiellösung
Die primären Werkzeuge, die unsere RAG-Beispielimplementierung unterstützen, sind Ollama und LangChain.
Ollama ist eine benutzerfreundliche Open-Source-Anwendung zum lokalen Laden und Ausführen von Modellen. Während das Beispiel die Verwendung der Kommandozeile zeigt, sind die grundlegenden Konzepte und die API, die es zur Verfügung stellt, auf verschiedenen Betriebssystemen, darunter auch Windows, anwendbar. Die spezifischen Installations- und Nutzungsschritte können jedoch variieren. Von Ollama laden wir die beiden benötigten Modelle über die Kommandozeile herunter:
ollama pull llama3.1:8b
ollama pull nomic-embed-text
LangChain ist ein leistungsfähiges Framework für den Aufbau von LLM-Pipelines. Es bietet Python-Pakete, welche die Integration mit APIs für verschiedene Modelle, darunter Ollama, vereinfachen. So wird es einfacher, Ihre lokalen LLM-Workflows auszuführen und zu verwalten.
Den vollständigen Code für die Lösung finden Sie auf GitHub.
Der erste Schritt unserer Lösung besteht darin, dass wir durch unsere PDFs gehen, um unsere Kontextdatenbank zu erstellen und sie in ein Format zu bringen, das ein LLM verstehen kann. Wir verwenden die Bibliothek „langchain_unstructured“, um die PDFs zu parsen. Das ermöglicht uns, den Text jedes Dokuments zu sammeln, während ein Teil der Struktur intakt bleibt. Unser Befehl zum Laden der PDFs sieht wie folgt aus:
Pythonfor file in pdf_filepaths: loader = UnstructuredLoader( file_path=file, strategy="fast", chunking_strategy="by_title" ) for doc in loader.lazy_load(): docs.append(doc)
Wir verwenden die „fast“-Strategie im Gegensatz zur „high resolution”-Strategie, um die PDFs schnell zu laden, und die “by_title"-Chunking-Strategie, um sicherzustellen, dass unsere PDFs nicht in zu viele Abschnitte aufgeteilt werden. Dies würde die Kontextdatenbank überfüllen. Durch das Erstellen eines Ladeprogramms für jedes unserer PDFs erhalten wir eine endgültige Sammlung von 207 Dokumenten. Sie enthalten den Rohtextinhalt jedes Abschnitts der PDF-Datei sowie nützliche Metadaten wie die Elementkategorie und die Dokumentquelle.
Dann können wir mit unserer Dokumentensammlung eine Einbettungsdatenbank mit Langchain Chroma erstellen. Unser Texteinbettungsmodell, nomic-embed-text, nimmt den Text aus jedem Dokument und berechnet eine Einbettung, einen stark dimensionierten Vektor, der versucht, den Text auf der Grundlage seines Inhalts zu kategorisieren. Bei einer Abfrage des Modells erstellt nomic-embed-text einen weiteren Einbettungsvektor für die Abfrage, den es dann mit den in der Datenbank gespeicherten Vektoren vergleicht. Die Datenbank gibt die ähnlichsten Vektoren zurück und liefert den Text für jeden Vektor als Kontext für das Haupt-LLM. Der Code für diesen Prozess ist unglaublich einfach, wenn Chroma und Ollama zusammen verwendet werden.
Pythonlocal_embeddings = OllamaEmbeddings(model=”nomic-embed-text”) vectorstore = Chroma.from_documents(docs, local_embeddings)
Das war's! Wir können unsere Kontextdatenbank mit einer Beispielabfrage testen und sehen, welches das ähnlichste Dokument ist:
Pythonquery = “What are the DisplayPort details for the k800 series?” docs = vectorstore.similarity_search(query) docs[0].page_content >>> "2.9 - DisplayPort\n\nTher are two full-size DisplayPorts on the Karbon 800 series. Both ports support DP 1.4 at 4k 50Hz\n\nand support MST (Multi Stream Topology). An MST hub can be used to support up to four\n\nindependent displays. Please refer to Intel documentation for additional Alder Lake-S display output\n\nspecifications: https://ark.intel.com\n\n22"
Die Datenbank war in der Lage, den richtigen Abschnitt über DisplayPorts im K800-Handbuch zu finden! Als Nächstes müssen wir alles zusammenfügen. Das wird durch die Python-Bibliothek von LangChain wieder sehr einfach gelöst. Wir werden das Llama-Modell laden und dann eine Kette erstellen, die unsere gesamte KI-Pipeline beschreibt.
Pythonmodel = ChatOllama(model="llama3.1:8b") RAG_TEMPLATE = """ You are an assistant for tech support question answering tasks. Use the following product manual sections to answer the question. If you don’t know the answer, say that you don’t know. Use under three sentences and keep the answer concise. <context> {context} </context> Answer the following question: {question} """ rag_prompt = ChatPromptTemplate.from_template(RAG_TEMPLATE) retriever = vectorstore.as_retriever() chain = ( {"context": retriever | format_docs, "question": RunnablePassthrough()} | rag_prompt | model )
Jetzt ist die Abfrage des gesamten Modells so einfach wie der Aufruf einer Funktion.
Pythonquestion = "For the K800 series of computers, what are the details of their CE compliance?" response = chian.invoke(question) print(response.content) >>> The K800 series was evaluated for medical, IT equipment, automotive, maritime, and railway EMC standards as a class A device. It complies with the relevant IT equipment directives for the CE mark. Testing includes EN55032, EN55035, and other specified standards.
Unsere Antwort enthält auch einige nützliche Metadaten zur Bewertung seiner Geschwindigkeit. Wir haben berechnet, dass die Zeit bis zum ersten Token 0,27 Sekunden betrug und die ausgegebenen Token pro Sekunde 68,9 waren. Das entspricht etwa 3.100 WPM. Unsere Implementierung übertrifft also unsere Geschwindigkeitsanforderungen. Gleichzeitig ist sie in der Lage, eine genaue Antwort direkt aus dem Produkthandbuch zu liefern.
Zukünftige Arbeit
Es gibt viele Möglichkeiten, unsere LLM-Lösung über unser kleines Jupyter-Notebook hinaus zu verbessern. Wir müssen nicht über Open-Source-Tools hinausgehen, um dorthin zu gelangen. Open Web UI könnte eine visuell viel ansprechendere Benutzeroberfläche für Abfragen bieten. Diese Schnittstellen kommunizieren in der Regel mit der API, die von der lokalen LLM-Laufzeitumgebung wie Ollama bereitgestellt wird, um Prompts zu senden und Antworten zu erhalten. Wir könnten auch die Qualität und Geschwindigkeit unserer Ergebnisse durch eine weitere Modellauswahl oder -optimierung (Quantisierung, Pruning usw.) verbessern. Dazu könnten wir Techniken wie die Feinabstimmung des Llama-3-Modells auf unsere spezifische Produktdokumentation prüfen und unsere LangChain-Pipeline so verbessern, dass sie eine Selbstkorrektur des Modells oder eine Websuche enthält.
Es gibt auch noch Spielraum für die Auswahl unserer Hardware, sobald die Softwarelösung fertiggestellt ist. Ollama hat für die Ausführung unseres Beispiels insgesamt nur etwa 7,5 GB GPU-Arbeitsspeicher verwendet, etwa die Hälfte des dedizierten VRAM des A4000. Sofern wir die LLM-Ausgabe für zufriedenstellend halten, könnte eine Herabstufung der GPU die Hardware am besten an die Arbeitslast anpassen.
Abschließende Überlegungen
Dieses Beispielprojekt zeigt, wie einfach es sein kann, ein lokal betriebenes Large Language Model mit Retrieval-Augmented Generation einzurichten, um qualitativ hochwertige, kontextgestützte KI-Chatbot-Antworten zu gewährleisten. Alle verwendeten Tools sind Open Source und gut dokumentiert, sodass wir unsere Lösung an unsere Ziele und verfügbaren Ressourcen anpassen können. In Kombination mit der Edge-Compute-Hardware von OnLogic sind die Anwendungsmöglichkeiten dieses Edge-KI-Frameworks enorm. Die Hardware kann überall dort eingesetzt werden, wo das Modell ausgeführt werden muss, selbst in Umgebungen, in denen herkömmliche Computerhardware ausfallen würde. Denken Sie nur an ein entlegenes Bergwerk ohne Drahtlosverbindung, das eine Fehlersuche an einer ausgefallenen Maschine durchführen muss. Oder denken Sie an eine Service-Technikfachkraft vor Ort bei einem Kunden, die die Ursache für einen Geräteausfall ermitteln muss – der Zugriff auf diese Art von LLM wäre von unschätzbarem Wert.
Wenn Sie herausfinden möchten, wie Ihr Unternehmen von KI vor Ort profitieren kann, wenden Sie sich an unser KI-Beratungsteam.