AI locale con Ollama: creare il proprio assistente in video
Trascrizione del video
Trascrizione del parlato, rivista per la lettura (punteggiatura e termini tecnici corretti).
Perché un'AI locale [0:00]
Lo sai che la tua AI non deve per forza vivere nel cloud? Puoi averla direttamente sul tuo PC, come un super assistente personale che non spiffera i tuoi segreti a nessuno. Niente dati regalati a grandi aziende, niente rischi di privacy: lavora solo per te e in casa tua. È un po' come avere Alexa in cassaforte. Vuoi capire come trasformare il tuo computer in un cervello digitale? Ora ti spiego come si fa.
Installazione e primo avvio [0:22]
Ci colleghiamo al nostro server Ollama, dove abbiamo precaricato le configurazioni per personalizzare il modello. Per chi non l'avesse già fatto, l'installazione di Ollama è molto semplice: serve curl, poi dal sito di Ollama si copia il comando di installazione e lo si esegue. Al termine del download Ollama è installato ed è possibile eseguire i modelli. In questo caso lanciamo Llama 3.1 da 70 miliardi di parametri: come vedete, il modello è online.
Il Modelfile [1:03]
Ora personalizziamo un nostro modello, sempre basato su Llama 3.1 70B. Ho predisposto un file nella mia directory — il Modelfile — con queste informazioni: il modello di base; la temperatura di risposta (qui bassa, così le risposte si mantengono precise e aderenti; una temperatura alta produce risposte più creative ma meno precise); e nella sezione system le caratteristiche dell'assistente. Gli definisco il nome, il compito — creare contenuti di marketing per il settore logistico — il formato dei documenti da generare e il sito di riferimento da ricordare. Al termine, Ctrl+X e salva.
Creare il modello [2:07]
Per preparare il modello si esegue il comando di creazione: ollama create assistenza-tns -f <percorso>, dove -f indica il percorso del Modelfile. Attenzione ai limiti: nelle istruzioni non si possono inserire tutti i dati che si vogliono — siamo intorno ai 3.000–4.000 caratteri — e questo non è il metodo per un vero addestramento. Per il nostro scopo, però, il testo è breve e il modello viene generato con le caratteristiche richieste.
Il test [2:49]
Per lanciarlo: ollama run assistenza-tns. Il modello si carica senza errori. Prima domanda: «come ti chiami?» — risponde con il nome che gli abbiamo assegnato e descrive le caratteristiche definite nel Modelfile. Poi gli chiediamo un articolo per un blog e una pubblicazione social: produce un'analisi estesa che dà l'idea della capacità di generazione.
Adattabile a qualunque settore [3:33]
Ho voluto usare l'esempio del trasporto su gomma per mostrare che l'approccio è adattabile a qualunque settore: dall'IT al food all'autotrasporto. Buona parte dei dati che si inseriscono sono verticali sulle proprie esigenze: sono quelle personalizzazioni a rendere efficienti le risposte del modello. La parte fondamentale è l'integrazione e la configurazione. Resto a disposizione per domande, consigli o collaborazioni.