7:07Hector AI dal vivo: dashboard, GPU e AI in produzione
Tour in video dell'infrastruttura AI di TN Solutions: dashboard Hector, monitoraggio GPU, traffico API, nodi a basso consumo e ambiente di produzione.
Trascrizione del parlato, rivista per la lettura (punteggiatura e termini tecnici corretti). Il tempo accanto a ogni titolo apre il video da quel punto.
Lo sai che la tua AI non deve per forza vivere nel cloud? Puoi averla direttamente sul tuo PC, come un super assistente personale che non spiffera i tuoi segreti a nessuno. Niente dati regalati a grandi aziende, niente rischi di privacy: lavora solo per te e in casa tua. È un po' come avere Alexa in cassaforte. Vuoi capire come trasformare il tuo computer in un cervello digitale? Ora ti spiego come si fa.
Ci colleghiamo al nostro server Ollama, dove abbiamo precaricato le configurazioni per personalizzare il modello. Per chi non l'avesse già fatto, l'installazione di Ollama è molto semplice: serve curl, poi dal sito di Ollama si copia il comando di installazione e lo si esegue. Al termine del download Ollama è installato ed è possibile eseguire i modelli. In questo caso lanciamo Llama 3.1 da 70 miliardi di parametri: come vedete, il modello è online.
Ora personalizziamo un nostro modello, sempre basato su Llama 3.1 70B. Ho predisposto un file nella mia directory — il Modelfile — con queste informazioni: il modello di base; la temperatura di risposta (qui bassa, così le risposte si mantengono precise e aderenti; una temperatura alta produce risposte più creative ma meno precise); e nella sezione system le caratteristiche dell'assistente. Gli definisco il nome, il compito — creare contenuti di marketing per il settore logistico — il formato dei documenti da generare e il sito di riferimento da ricordare. Al termine, Ctrl+X e salva.
Per preparare il modello si esegue il comando di creazione: ollama create assistenza-tns -f <percorso>, dove -f indica il percorso del Modelfile. Attenzione ai limiti: nelle istruzioni non si possono inserire tutti i dati che si vogliono — siamo intorno ai 3.000–4.000 caratteri — e questo non è il metodo per un vero addestramento. Per il nostro scopo, però, il testo è breve e il modello viene generato con le caratteristiche richieste.
Per lanciarlo: ollama run assistenza-tns. Il modello si carica senza errori. Prima domanda: «come ti chiami?» — risponde con il nome che gli abbiamo assegnato e descrive le caratteristiche definite nel Modelfile. Poi gli chiediamo un articolo per un blog e una pubblicazione social: produce un'analisi estesa che dà l'idea della capacità di generazione.
Ho voluto usare l'esempio del trasporto su gomma per mostrare che l'approccio è adattabile a qualunque settore: dall'IT al food all'autotrasporto. Buona parte dei dati che si inseriscono sono verticali sulle proprie esigenze: sono quelle personalizzazioni a rendere efficienti le risposte del modello. La parte fondamentale è l'integrazione e la configurazione. Resto a disposizione per domande, consigli o collaborazioni.
7:07Tour in video dell'infrastruttura AI di TN Solutions: dashboard Hector, monitoraggio GPU, traffico API, nodi a basso consumo e ambiente di produzione.
6:42Un server di uno studio grafico non parte: diagnosi LED, alimentatore guasto, verifica dell'array RAID e ritorno in produzione. Il video con trascrizione.
11:10Un nodo del cluster Proxmox collassa: trapianto dei componenti su uno chassis sano, wipe dei dischi, ricostruzione Ceph e ritorno in CED. Video con trascrizione.
8:12Un server arriva in laboratorio e non si accende: pulizia, RAM, dischi, alimentatori e riavvio dell'hypervisor. Il video completo con trascrizione.
3:20Un HP ProLiant ML350 con controller RAID danneggiato arriva in laboratorio: analisi, verdetto e quando serve la camera bianca. Video con trascrizione.
11:49Da server dismesso a nodo Proxmox: installazione della VE 9, chiavetta USB con Rufus, configurazione di rete e primo accesso. Tutorial video con trascrizione.
Scopri come creare un server per le intelligenze artificiali: dalla scelta dell'hardware alla gestione dei dati, una guida completa.
Ollama è il software open source per eseguire modelli AI come Llama, Mistral e Gemma sul proprio PC o server: cos'è, a cosa serve e come si usa.
Come creare un server per le intelligenze artificiali in locale: hardware GPU, RAID, Proxmox, sicurezza NIS2 e la piattaforma Hector di TN Solutions.