3:45Virtualizzare i server di due sedi: dal fisico al cloud ibrido
Marco spiega come due server fisici a Roma e Milano sono diventati un unico ambiente virtuale e il passo verso il cloud ibrido. Con trascrizione.
Trascrizione del parlato, rivista per la lettura (punteggiatura e termini tecnici corretti). Il tempo accanto a ogni titolo apre il video da quel punto.
Ora vi spiego come ottimizzare e personalizzare la vostra intelligenza artificiale direttamente sui vostri sistemi, in locale, senza dare accesso alle vostre informazioni a società terze. In questa piccola guida vedrete come Ollama sia in grado di garantirlo e di creare un assistente su misura per le vostre esigenze. Ci colleghiamo al nostro server Ollama, dove ho precaricato le configurazioni per personalizzare il modello.
Per chi non l'avesse già fatto, l'installazione di Ollama è molto semplice: serve avere installato curl, poi si va sul sito di Ollama, si copia il comando di installazione e lo si esegue. Al termine del download Ollama sarà installato e potrete eseguire i vostri modelli. In questo caso lanciamo il modello da 70 miliardi di parametri e, come vedete, il modello è online. Adesso interrompo l'attività e passiamo a personalizzare un nostro modello, sempre basato su Llama 3.1 da 70 miliardi.
Per farlo ho predisposto un file nella mia directory, il Modelfile. Al suo interno definisco il modello di partenza, cioè Llama 3.1 da 70 miliardi, e la temperatura di risposta: una temperatura bassa porta il modello ad avvicinarsi in modo molto preciso alla realtà, una temperatura alta dà informazioni meno precise.
Nella parte System definisco le caratteristiche del modello: il nome e il compito, che qui è creare contenuti di marketing per il settore logistico, con le indicazioni su come generare i documenti quando gli viene fatta una richiesta dal prompt dei comandi. Gli dico anche di ricordare il sito di riferimento su cui viene eseguito il modello. Al termine salvo il file.
Per preparare il modello eseguo il comando ollama create, indicando il nome dell'assistente e, con l'opzione -f, il percorso del file di configurazione appena salvato: il comando va a leggere le informazioni da quel file.
Attenzione ai limiti: le dimensioni non permettono di inserire tutti i dati che si vogliono, siamo intorno ai 3.000-4.000 caratteri. Questo non è il metodo corretto per effettuare un buon addestramento. Qui però il testo è estremamente breve, quindi riusciamo senza problemi a generare un modello con le caratteristiche richieste. Il comando ha generato i suoi file e la personalizzazione rispetto alle informazioni contenute nel file che abbiamo preparato.
Per lanciarlo basta il comando ollama run seguito dal nome del modello appena creato. Il modello viene caricato senza errori. Come prima cosa gli chiedo come si chiama: risponde con il nome che gli abbiamo assegnato e spiega le caratteristiche che gli abbiamo dato durante l'inserimento dei dati nel file. È molto preciso.
Poi gli chiedo di creare un articolo per un blog o una pubblicazione social su Facebook. La richiesta è molto generica e il modello produce un'analisi piuttosto estesa, a dimostrazione della sua capacità di generare questi contenuti. Ho scelto il trasporto su gomma per far capire che il sistema è adattabile a qualunque settore.
Buona parte dei dati che inseriamo sono dati verticali sulle nostre esigenze: sono queste personalizzazioni a rendere più efficaci le risposte che il modello di Meta è in grado di generare. Questa tecnologia è applicabile a qualunque tipo di settore, dal food all'autotrasporto. La parte fondamentale è l'integrazione e la configurazione del modello. Resto a disposizione per domande, consigli o collaborazioni per far crescere le competenze nel settore.
3:45Marco spiega come due server fisici a Roma e Milano sono diventati un unico ambiente virtuale e il passo verso il cloud ibrido. Con trascrizione.
4:35Marco prepara un server Dell con Proxmox VE: hardware, RAID 1, installazione da DVD e primo avvio per un private cloud. Con trascrizione completa.
3:11Marco mostra su Proxmox come creare uno snapshot e spiega perché non è un backup: rollback rapido contro salvataggi schedulati. Con trascrizione completa.
3:50Marco mostra il mondo virtuale creato con Claude per i suoi figli: abitanti guidati da modelli AI, città e area admin. Con trascrizione completa.
21:41Marco ripristina un NAS Synology: reset di fabbrica, DSM, RAID 5 con Btrfs, LUN iSCSI e collegamento a Windows con test di velocità. Con trascrizione.
0:58Hector LIS, l'AI di TN Solutions per la sicurezza informatica: cosa mostra il video su rilevamento e gestione di un attacco subito dall'infrastruttura.
Ollama è il software open source per eseguire modelli AI come Llama, Mistral e Gemma sul proprio PC o server: cos'è, a cosa serve e come si usa.
Come creare un server per le intelligenze artificiali in locale: hardware GPU, RAID, Proxmox, sicurezza NIS2 e la piattaforma Hector di TN Solutions.
Scopri come creare un server per le intelligenze artificiali: dalla scelta dell'hardware alla gestione dei dati, una guida completa.
Intelligenza artificiale per le PMI: casi d'uso concreti di AI generativa per ufficio, produzione e commerciale. Guida pratica di TN Solutions.