Come eseguire un LLM locale: una guida al RAG utilizzando OnLogic Karbon 804
L'IA generativa, una branca dell'apprendimento automatico che sfrutta i modelli linguistici di grandi dimensioni (LLM), sta rapidamente diventando una delle categorie di strumenti di IA più influenti e ha il potenziale per aggiungere un valore enorme alle organizzazioni di ogni dimensione e in tutti i settori. Esempi popolari come ChatGPT, basato sui modelli GPT di OpenAI, hanno dimostrato la potenza di questi modelli per diverse attività, ma le soluzioni LLM basate su cloud possono presentare sfide in termini di sicurezza dei dati, latenza e implementazioni offline.
Questo articolo illustra come superare queste limitazioni implementando un LLM locale sul dispositivo utilizzando la tecnologia RAG (Retrieval-Augmented Generation). Questo approccio porta la potenza dell'IA direttamente nelle tue distribuzioni edge attraverso modelli locali, consentendo casi d'uso pratici in settori come la produzione, l'assistenza sul campo e il monitoraggio remoto. Sfruttando un modello Llama 3.1 e un database di contesto locale, questa soluzione consente un accesso sicuro ai dati proprietari e fornisce risposte rapide e accurate, anche in assenza di una connessione Internet. Scopri come portare potenti funzionalità di IA nelle tue distribuzioni edge utilizzando hardware on-premise.
Sbloccare l'intelligenza sui dispositivi: perché gli LLM locali sono importanti
La maggior parte delle interazioni con gli LLM vengono elaborate nel cloud, calcolate in data center lontani dalla fonte dei dati, e semplicemente recuperate su un dispositivo locale. Questa strategia può essere utile per contenuti generati dall'IA che richiedono conoscenze generalizzate o accesso centralizzato, e può essere sfruttata dalla maggior parte dei dispositivi con una connessione internet. Ma per le organizzazioni interessate a sfruttare la potenza dell'IA utilizzando i propri dati proprietari, queste soluzioni basate su cloud non sono sufficienti in termini di sicurezza dei dati, e possono rapidamente rendere insostenibili i costi del cloud computing.
Per ridurre al minimo la latenza e superare i limiti di condivisione dei dati, come la posizione geografica o la sensibilità dei dati, spostare il calcolo all'edge può essere una soluzione ottimale per l'esecuzione di LLM. Ad esempio, quando un LLM richiede l'accesso a dati sensibili e proprietari, come cartelle cliniche o informazioni legali, l'implementazione del modello su un dispositivo edge offre una maggiore sicurezza dei dati rispetto alla trasmissione tramite Internet. Le implementazioni edge aprono una varietà di casi d'uso in cui gli LLM basati su cloud risultano carenti, soprattutto quando affidabilità, latenza o riservatezza dei dati sono fondamentali. Inoltre, gli LLM potrebbero richiedere l'implementazione in aree prive di connettività adeguata, come il monitoraggio remoto o i siti di produzione privi di connessioni affidabili ai provider cloud. Per ulteriori informazioni sul valore e l'importanza dell'IA all'edge, consultare il nostro articolo: Architettura dell'IA edge: l'edge è il posto ideale per l'IA .
In questo articolo descriviamo il processo di implementazione di un chatbot basato su intelligenza artificiale (IA) integrato nel dispositivo per rispondere a domande sui dati forniti, in questo caso informazioni sui prodotti OnLogic. Poiché questo scenario richiede che l'IA disponga di conoscenze specifiche e specializzate, utilizzeremo un concetto chiamato RAG per garantire che il modello abbia accesso a informazioni contestuali accurate per rispondere a ciascuna domanda.
Selezione del modello
Gestire gli LLM in locale può sembrare inizialmente complicato, ma sono disponibili diversi strumenti gratuiti e open source per semplificare il processo di sviluppo. Sebbene esistano potenti modelli proprietari, come quelli offerti da OpenAI o Azure AI di Microsoft, il nostro obiettivo qui è dimostrare una soluzione robusta, ospitata localmente, che utilizzi strumenti open source per un maggiore controllo e la massima riservatezza dei dati. Il primo passo nello sviluppo di una soluzione di intelligenza artificiale personalizzata è comprendere i propri obiettivi prestazionali. Ai fini del nostro chatbot informativo sul prodotto, il nostro modello di intelligenza artificiale deve soddisfare i criteri elencati di seguito.
L'LLM dovrebbe:
Esegui localmente
Essere un LLM ampiamente disponibile con licenza aperta o permissiva, come Llama 3.1, Mistral, Gemma, Mixtral o DeepSeek
Rispondere alle domande in modo rapido e preciso, tra cui:
Inizia a fornire risposte in meno di un secondo.
Emissione di testo più veloce della media delle parole lette al minuto
Non fornire informazioni al di fuori delle fonti dati approvate, in questo caso i manuali dei prodotti
Sulla base di questi obiettivi, abbiamo scelto di utilizzare la versione a 8 miliardi di parametri di Llama 3.1, un modello linguistico open source all'avanguardia sviluppato da Meta. Llama 3.1 è l'ultima evoluzione dei modelli linguistici di Meta, offrendo miglioramenti sostanziali nel ragionamento e nell'utilizzo degli strumenti rispetto a versioni precedenti come Llama 2. Modelli come Llama 3.1 possono essere eseguiti in modo efficiente su hardware locale utilizzando librerie di inferenza leggere come llama.cpp, specificamente ottimizzate per le prestazioni della CPU e gli ambienti con poca memoria. Sebbene esistano potenti modelli proprietari, come quelli offerti da GPT-4 di OpenAI, il nostro obiettivo qui è dimostrare una soluzione robusta, ospitata localmente, che utilizza strumenti open source per un controllo e una privacy dei dati migliorati. Come molti importanti modelli open source, Llama 3 è prontamente disponibile suHugging Face Hub , puoi scaricare qualsiasi LLM con estensione .gguf ed eseguirlo nel terminale, rendendolo facilmente accessibile per la distribuzione locale. Llama 3.1supera modelli open source di dimensioni simili in una varietà di benchmark LLM , in particolare nelle categorie ragionamento e utilizzo degli strumenti.
Siamo fiduciosi nell'utilizzo di un modello più piccolo perché il nostro scenario RAG prevede un LLM che esegue un'attività specializzata incentrata sui nostri dati di input, quindi il nostro modello non deve essere così ampio, poiché non richiediamo una conoscenza ampia e generalizzata. Per le organizzazioni con una conoscenza di dominio altamente specifica o modelli di interazione unici, l'ottimizzazione di Llama 3 su dataset proprietari potrebbe migliorarne ulteriormente le prestazioni e la pertinenza.
Configurazione hardware
Una volta selezionato l'LLM, possiamo passare alla configurazione di un edge computer in grado di eseguire il modello in modo efficace. Quando si tratta di modelli linguistici di grandi dimensioni (la parola chiave è "grandi"), la capacità di memoria può rapidamente diventare un collo di bottiglia per l'esecuzione, quindi dovremo assicurarci che la nostra configurazione sia in grado di gestire il modello con un certo margine di memoria. Per fare ciò, useremo questa equazione per la memoria della GPU daSam Stoelinga .
M = (P * 4B)/(32 / Q)*1,2
Ecco una scomposizione di ciascuno degli elementi nell'equazione.
Simbolo | Descrizione |
|---|---|
M | Memoria GPU espressa in Gigabyte |
P | Il numero di parametri nel modello |
4B | 4 byte, che esprimono i byte utilizzati per ciascun parametro |
32 | Il numero di bit in 4 byte |
Q | Il numero di bit che dovrebbero essere utilizzati per caricare il modello (ad esempio 16 bit, 8 bit o 4 bit) |
1.2 | Rappresenta un sovraccarico del 20% nel caricamento di elementi aggiuntivi nella memoria GPU |
Il nostro modello Llama utilizza la quantizzazione Q4_K_M (4 bit) e ha 8 miliardi di parametri, che forniscono:
M = (8 * 4B)/(32/4) * 1,2 = 4,8 GB
Fatti i calcoli, sappiamo che avremo ampio margine di memoria sulla maggior parte delle GPU dedicate, anche considerando lo spazio aggiuntivo richiesto per il database di contesto e il modello integrato. Utilizzeremo l'OnLogic Karbon 804 con una GPU Nvidia A4000 e una CPU ad alte prestazioni per eseguire il modello, il che ci fornisce abbondante potenza di elaborazione per gestire il nostro LLM. Offrirà anche l'affidabilità per eseguire il nostro modello ovunque sia necessario.
L'OnLogic Karbon 804 è stata la scelta ideale per gestire il nostro LLM locale.
OnLogic K804 è un dispositivo edge rugged di prim'ordine per applicazioni di intelligenza artificiale. Può funzionare a temperature comprese tra -40 °C e 70 °C ed è progettato per gestire una varietà di altre condizioni difficili, come umidità, urti e vibrazioni. Ancora più importante, per noi, è dotato di configurazioni che forniscono la potenza di elaborazione necessaria per il calcolo LLM e lo spazio per un massimo di due GPU a slot singolo.
Generazione con recupero aumentato
Il prossimo componente della nostra soluzione di intelligenza artificiale è garantire che il chatbot fornisca solo dati provenienti dalle fonti fornite. Come accennato nell'introduzione, utilizzeremo un concetto di intelligenza artificiale incredibilmente utile per l'edge computing, chiamato Retrieval-Augmented Generation (RAG).
La tecnica RAG è importante perché gli LLM hanno la sfortunata abitudine di scrivere testi che "suonano" correttamente, ma non sono basati sulla verità. Se il modello non ha una formazione specifica sulle informazioni che l'utente deve recuperare, c'è un rischio elevato che l'utente riceva una risposta allucinatoria. La tecnica RAG garantisce che il modello informi la sua risposta all'utente con un database di fonti di contesto accettate, che nel nostro caso saranno i manuali dei prodotti OnLogic.
Il nostro sistema utilizza due modelli chiave. In primo luogo, un modello di text-embedding analizza il prompt di input, confrontandolo semanticamente con le nostre fonti di contesto. Questo ci permette di identificare e recuperare le fonti più rilevanti, che vengono poi fornite, insieme al prompt originale, al Large Language Model (LLM) principale – nel nostro caso, Llama. Da lì, il modello LLM (in questo caso, Llama 3.1) genera quindi l'output testuale finale.
Flusso di dati per un LLM che utilizza RAG. La query dell'utente viene utilizzata per trovare il contesto pertinente da un database e sia la query che il contesto vengono forniti al modello.
Soluzione campione
Gli strumenti principali che alimentano la nostra implementazione RAG di esempio sarannoOllama ELangChain Prima di immergerci nel codice, è importante impostare le dipendenze richieste.
Ollama è un'applicazione open source facile da usare per caricare ed eseguire modelli in locale su Linux, macOS e Windows. Per gli utenti che preferiscono un'interfaccia grafica, strumenti come LM Studio offrono un'esperienza desktop per l'esecuzione di LLM locali, inclusi modelli come Llama 3, Mistral e DeepSeek, senza dover utilizzare la riga di comando. Ollama supporta anche la distribuzione basata su Docker, consentendo di containerizzare il runtime LLM locale per una facile distribuzione in diversi ambienti. Sebbene l'esempio mostri l'utilizzo della riga di comando, i concetti fondamentali e l'API che espone sono applicabili a diversi sistemi operativi, incluso Windows, sebbene le fasi specifiche di installazione e utilizzo possano variare. Da Ollama è possibile scaricare i due modelli necessari tramite il loro nome dalla riga di comando con:
ollama tira lama3.1:8b
ollama pull nomic-embed-text
LangChain è un potente framework per la creazione di pipeline LLM. Fornisce pacchetti Python che semplificano l'integrazione con le API per vari modelli, incluso Ollama, semplificando l'esecuzione e la gestione dei flussi di lavoro LLM locali.
Il codice completo per la soluzione può essere trovato suGitHub .
Il primo passo della nostra soluzione sarà l'analisi dei PDF per creare il nostro database di contesto e convertirli in un formato comprensibile per un LLM. Utilizziamo la libreria `langchain_unstructured` per analizzare i PDF, che ci permette di raccogliere il testo di ciascun documento mantenendo intatta parte della struttura. Quando Ollama esegue un modello, lo serve tramite un'API locale accessibile tramite localhost, in genere all'indirizzo http://localhost:11434. Questo consente a strumenti come LangChain di connettersi al modello per un'esecuzione e un concatenamento rapidi.
Il nostro comando per caricare i PDF appare così:
Pitoneper file in pdf_filepaths: caricatore = Caricatore non strutturato ( file_path=file, strategia="veloce", strategia_di_suddivisione_in_blocchi="per_titolo" ) per doc in loader.lazy_load(): docs.append(doc)
Utilizziamo la strategia "veloce" anziché "alta risoluzione" per caricare rapidamente i PDF, e la strategia di suddivisione in blocchi "by_title" per garantire che i nostri PDF non vengano suddivisi in troppe sezioni, il che appesantirebbe il database di contesto. Creando un caricatore per ciascuno dei nostri PDF, otteniamo una raccolta finale di 207 documenti, che contengono il testo grezzo di ogni sezione del PDF e metadati utili come la categoria dell'elemento e la fonte del documento.
Quindi, con la nostra raccolta di documenti, possiamo creare un database di incorporamento utilizzando Langchain Chroma. Il nostro modello di incorporamento del testo, nomic-embed-text, prenderà il testo da ciascun documento e calcolerà un incorporamento, un vettore altamente dimensionale che cerca di categorizzare il testo in base al suo contenuto. Quindi, quando interroghiamo il modello, nomic-embed-text creerà un altro vettore di incorporamento per la query, che verrà poi confrontato con i vettori memorizzati nel database. Il database restituirà i vettori più simili e fornirà il testo per ciascun vettore come contesto per l'LLM principale. Il codice per questo processo è incredibilmente semplice quando si utilizzano Chroma e Ollama insieme.
Pitonelocal_embeddings = OllamaEmbeddings(modello="testo-incorporamento-nomico") vectorstore = Chroma.from_documents(documenti, incorporamenti_locali)
Ecco fatto! Possiamo testare il nostro database di contesto con una query di esempio e vedere qual è il documento più simile:
Pitonequery = "Quali sono i dettagli DisplayPort per la serie k800?" docs = vectorstore.similarity_search(query) docs[0].page_content >>> "2.9 - DisplayPort\n\nLa serie Karbon 800 è dotata di due DisplayPort full-size. Entrambe le porte supportano DP 1.4 a 4K 50Hz\n\ne MST (Multi Stream Topology). È possibile utilizzare un hub MST per supportare fino a quattro display indipendenti. Per ulteriori specifiche di uscita display Alder Lake-S, consultare la documentazione Intel: https://ark.intel.com\n\n22"
Il database è riuscito a trovare la sezione corretta sulle DisplayPort nel manuale del K800! Ora dobbiamo mettere insieme il tutto, un'operazione ancora una volta molto semplice grazie alla libreria Python di LangChain. Caricheremo il modello Llama e creeremo una catena che descriva l'intera pipeline di intelligenza artificiale.
Pitonemodello = ChatOllama(modello="llama3.1:8b") RAG_TEMPLATE = """ Sei un assistente per le attività di supporto tecnico che rispondono alle domande. Utilizza le seguenti sezioni del manuale del prodotto per rispondere alla domanda. Se non conosci la risposta, di' di non saperlo. Usa meno di tre frasi e mantieni la risposta concisa. {context} Rispondi alla seguente domanda: {question} """ rag_prompt = ChatPromptTemplate.from_template(RAG_TEMPLATE) recuperatore = vectorstore.as_retriever() catena = ( {"context": retriever | format_docs, "question": RunnablePassthrough()} | rag_prompt | modello )
Ora interrogare l'intero modello è facile come chiamare una funzione.
Pitonedomanda = "Per la serie di computer K800, quali sono i dettagli della loro conformità CE?" risposta = chian.invoke(domanda) stampa(risposta.contenuto) >>> La serie K800 è stata valutata come dispositivo di classe A in base agli standard EMC per apparecchiature mediche, IT, automotive, marittime e ferroviarie. È conforme alle direttive sulle apparecchiature IT pertinenti per il marchio CE. I test includono EN55032, EN55035 e altri standard specifici.
La nostra risposta include anche alcuni metadati utili per valutarne la velocità. Abbiamo calcolato che il tempo per il primo token è stato di 0,27 secondi e i token di output al secondo sono stati 68,9, che si traduce in circa 3.100 parole al minuto. Quindi, la nostra implementazione supera di gran lunga i nostri requisiti di velocità, pur essendo in grado di fornire una risposta accurata direttamente dal manuale del prodotto.
Lavoro futuro
Esistono molti modi per migliorare potenzialmente la nostra soluzione LLM, andando oltre il nostro piccolo Jupyter Notebook, e non abbiamo bisogno di andare oltre gli strumenti open source per arrivarci.Apri interfaccia utente Web potrebbe fornire un'interfaccia utente molto più accattivante per le query. Queste interfacce in genere comunicano con l'API esposta dal runtime LLM locale, come Ollama, per inviare prompt e ricevere risposte. Potremmo anche continuare a migliorare la qualità e la velocità dei nostri risultati attraverso un'ulteriore selezione o ottimizzazione del modello (quantizzazione, potatura, ecc.), esplorando tecniche come la messa a punto del modello Llama 3 sulla documentazione specifica del nostro prodotto e migliorando la nostra pipeline LangChain per includere il modelloautocorrezione Oricerca sul web .
Possiamo anche affinare la selezione hardware una volta finalizzata la soluzione software. Ollama ha utilizzato in totale circa 7,5 GB di memoria GPU per eseguire il nostro esempio, circa metà della VRAM dedicata della A4000. Se consideriamo che l'output dell'LLM sia soddisfacente, ridimensionare la GPU potrebbe adattare al meglio l'hardware al carico di lavoro.
Considerazioni conclusive
Questo progetto di esempio mostra quanto sia semplice configurare un Large Language Model (LLM) eseguito localmente con generazione aumentata dal recupero per garantire risposte di chatbot AI di alta qualità e supportate dal contesto. Tutti gli strumenti utilizzati sono open source e ben documentati, il che ci consente di personalizzare la nostra soluzione in base ai nostri obiettivi e alle risorse disponibili. In combinazione con l'hardware di edge computing di OnLogic, che può essere distribuito ovunque sia necessario eseguire il modello, anche in ambienti che causerebbero guasti all'hardware di computer più standard (come le tipiche CPU desktop o le GPU di livello consumer), i casi d'uso di questo framework di edge AI sono vasti. Basti pensare a una miniera remota senza connettività wireless che deve risolvere problemi con macchinari guasti, o a un tecnico di assistenza in loco presso la sede di un cliente che deve individuare la causa principale dei guasti delle apparecchiature: l'accesso a questo tipo di LLM sarebbe preziosissimo.
Se sei interessato a scoprire come l'intelligenza artificiale in loco potrebbe apportare benefici alla tua organizzazione, contatta il nostro team di consulenza sull'intelligenza artificiale .