Hector AI dal vivo: dashboard, GPU e AI in produzione

Il cuore dell'azienda [0:00]

Oggi vi presento il cuore pulsante dell'azienda, dove Hector è entrato in tutti i processi aziendali. Questa è la dashboard di Hector: raccoglie le funzionalità integrate nel tool di monitoraggio. Sono stati integrati anche sistemi di proxy per la gestione della privacy dell'ambiente server verso il mondo pubblico: Hector può usare la rete Tor per accedere al web con indirizzi IP protetti, riducendo il rischio di attacchi verso il nostro nodo.

Hector Core e risparmio energetico [1:04]

Nella dashboard c'è l'Hector Core, una rappresentazione dei carichi di sistema dell'infrastruttura che cambia in funzione di quanto — e di cosa — il sistema sta facendo. In questo momento siamo sulla macchina di sviluppo, senza attività pesanti: un nodo è spento e gli altri sono in idle, perché il sistema gestisce in automatico, con le intelligenze artificiali, anche il risparmio energetico. Quando non ci sono attività di staging o chiamate API esterne, il server entra da solo in modalità a basso consumo.

Parlare con Hector [1:46]

La versione di sviluppo integra una novità: l'interazione conversazionale. Si può parlare direttamente con l'intelligenza artificiale. «Ciao Hector, come stai?» — e Hector risponde commentando la configurazione del cluster e l'uso della memoria.

GPU monitoring [2:30]

Passiamo alla parte hardware, il corpo fisico di Hector. Qui si osserva quello che accade nel sistema: siamo tornati sull'ambiente di produzione, dove stiamo ottimizzando le schede prodotto di un e-commerce. Selezionando un nodo si controlla se le schede video stanno lavorando, il carico delle VRAM, il comportamento del sistema e la temperatura media. In Performance c'è l'andamento dei carichi su finestre più lunghe — un'ora, 24 ore, 7 giorni — con i grafici delle GPU e delle attività eseguite.

API Traffic [3:11]

In API Traffic ci sono le richieste che arrivano ai nodi di Hector e tutte le chiamate processate da Hector OS: i modelli richiesti dal nostro CRM verso questi sistemi di intelligenza artificiale.

Ricerca e sviluppo: nodi a basso consumo [3:54]

Nell'ambiente di sviluppo stiamo testando nuove soluzioni hardware dedicate all'AI, ottimizzando i modelli per renderli più performanti e scalabili anche dal punto di vista termico. Le macchine in produzione usano schede video dal consumo molto alto; queste nuove soluzioni consumano 230 W con alte performance e costi elettrici bassissimi. Questa macchina, piccola com'è, usa OpenCL per la gestione dell'AI e permette a Hector, in ambiente di sviluppo, di accedere via web ai nostri CRM per attività di ottimizzazione dentro la parte produttiva dell'azienda.

Per darvi un'idea: ha a bordo 128 GB di RAM DDR5, mentre l'infrastruttura con GPU NVIDIA arriva a circa 126 GB di memoria video complessiva. Quella è più veloce, ma questa esegue gli stessi modelli consumando 230 W contro circa 1 kW a pieno carico della macchina più grande — che non a caso chiamiamo «Bigor».

In produzione [5:21]

In sala macchine, le schede video stanno processando i token che abbiamo visto nell'interfaccia di Hector OS. Oggi Hector ha un corpo — questo — e una gestione attraverso Hector OS che ci permetterà di ottimizzare i flussi di lavoro: dal CRM ai gestionali, alle integrazioni web e alle automazioni dei processi aziendali. Seguimi per vedere le evoluzioni e cosa farà Hector nei prossimi mesi.