Personalizzare un modello Llama 3.1 con Ollama in locale

In questo video Marco mostra, su un server Linux con Ubuntu, come creare con Ollama un assistente personalizzato partendo da Llama 3.1 da 70 miliardi di parametri, senza dare accesso ai propri dati a società terze. Si vedono il file di configurazione, il comando di creazione e una prova di generazione di contenuti. Utile a PMI e sistemisti che vogliono provare l'AI in locale.

Pubblicato
Durata
4:39
Capitoli
8
Trascrizione
Leggi sotto
Canale
Guarda su YouTube

Trascrizione del video

Trascrizione del parlato, rivista per la lettura (punteggiatura e termini tecnici corretti). Il tempo accanto a ogni titolo apre il video da quel punto.

Guarda da 0:00Perché personalizzare l'AI in locale

Ora vi spiego come ottimizzare e personalizzare la vostra intelligenza artificiale direttamente sui vostri sistemi, in locale, senza dare accesso alle vostre informazioni a società terze. In questa piccola guida vedrete come Ollama sia in grado di garantirlo e di creare un assistente su misura per le vostre esigenze. Ci colleghiamo al nostro server Ollama, dove ho precaricato le configurazioni per personalizzare il modello.

Guarda da 0:21Installare Ollama e avviare il modello

Per chi non l'avesse già fatto, l'installazione di Ollama è molto semplice: serve avere installato curl, poi si va sul sito di Ollama, si copia il comando di installazione e lo si esegue. Al termine del download Ollama sarà installato e potrete eseguire i vostri modelli. In questo caso lanciamo il modello da 70 miliardi di parametri e, come vedete, il modello è online. Adesso interrompo l'attività e passiamo a personalizzare un nostro modello, sempre basato su Llama 3.1 da 70 miliardi.

Guarda da 1:04Il file di configurazione del modello

Per farlo ho predisposto un file nella mia directory, il Modelfile. Al suo interno definisco il modello di partenza, cioè Llama 3.1 da 70 miliardi, e la temperatura di risposta: una temperatura bassa porta il modello ad avvicinarsi in modo molto preciso alla realtà, una temperatura alta dà informazioni meno precise.

Nella parte System definisco le caratteristiche del modello: il nome e il compito, che qui è creare contenuti di marketing per il settore logistico, con le indicazioni su come generare i documenti quando gli viene fatta una richiesta dal prompt dei comandi. Gli dico anche di ricordare il sito di riferimento su cui viene eseguito il modello. Al termine salvo il file.

Guarda da 2:07Creare il modello con ollama create

Per preparare il modello eseguo il comando ollama create, indicando il nome dell'assistente e, con l'opzione -f, il percorso del file di configurazione appena salvato: il comando va a leggere le informazioni da quel file.

Attenzione ai limiti: le dimensioni non permettono di inserire tutti i dati che si vogliono, siamo intorno ai 3.000-4.000 caratteri. Questo non è il metodo corretto per effettuare un buon addestramento. Qui però il testo è estremamente breve, quindi riusciamo senza problemi a generare un modello con le caratteristiche richieste. Il comando ha generato i suoi file e la personalizzazione rispetto alle informazioni contenute nel file che abbiamo preparato.

Guarda da 2:48Avviare il modello e provarlo

Per lanciarlo basta il comando ollama run seguito dal nome del modello appena creato. Il modello viene caricato senza errori. Come prima cosa gli chiedo come si chiama: risponde con il nome che gli abbiamo assegnato e spiega le caratteristiche che gli abbiamo dato durante l'inserimento dei dati nel file. È molto preciso.

Guarda da 3:31Un test sul trasporto su gomma

Poi gli chiedo di creare un articolo per un blog o una pubblicazione social su Facebook. La richiesta è molto generica e il modello produce un'analisi piuttosto estesa, a dimostrazione della sua capacità di generare questi contenuti. Ho scelto il trasporto su gomma per far capire che il sistema è adattabile a qualunque settore.

Buona parte dei dati che inseriamo sono dati verticali sulle nostre esigenze: sono queste personalizzazioni a rendere più efficaci le risposte che il modello di Meta è in grado di generare. Questa tecnologia è applicabile a qualunque tipo di settore, dal food all'autotrasporto. La parte fondamentale è l'integrazione e la configurazione del modello. Resto a disposizione per domande, consigli o collaborazioni per far crescere le competenze nel settore.

Altri video sul sito

Tutti i video
  • Articolo

    Ollama: cos'è e come si usa

    Ollama è il software open source per eseguire modelli AI come Llama, Mistral e Gemma sul proprio PC o server: cos'è, a cosa serve e come si usa.

  • Articolo

    Server AI in locale: guida per PMI

    Come creare un server per le intelligenze artificiali in locale: hardware GPU, RAID, Proxmox, sicurezza NIS2 e la piattaforma Hector di TN Solutions.

  • Articolo

    Come creare un server per le intelligenze artificiali

    Scopri come creare un server per le intelligenze artificiali: dalla scelta dell'hardware alla gestione dei dati, una guida completa.

  • Articolo

    AI generativa per le PMI: casi d'uso

    Intelligenza artificiale per le PMI: casi d'uso concreti di AI generativa per ufficio, produzione e commerciale. Guida pratica di TN Solutions.

Utilizziamo i cookie

Usiamo cookie tecnici necessari al funzionamento del sito e, solo se acconsenti, cookie di analisi e marketing. Puoi accettare, rifiutare o scegliere categoria per categoria. Se prosegui la navigazione su un'altra pagina senza scegliere, i cookie si intendono accettati. Cookie Policy