Creare un Server per le Intelligenze Artificiali in Locale: Guida Pratica per PMI

Un server per le intelligenze artificiali in locale e una macchina, ospitata in azienda, che esegue modelli AI direttamente sui dati aziendali senza inviarli al cloud. Per una PMI serve una CPU multi-core, una o più GPU con memoria adeguata, storage NVMe in RAID e una rete affidabile: così i dati restano interni e i costi diventano prevedibili.

In TN Solutions progettiamo e installiamo questi sistemi da System Integrator con oltre 25 anni di esperienza. In questa guida vediamo quando conviene un server AI on-premise, come dimensionare hardware e storage, come configurarlo con Proxmox e come metterlo in sicurezza secondo le regole NIS2. L'obiettivo e concreto: portare l'AI in azienda senza sorprese.

Perche mettere un server per le intelligenze artificiali in locale

Eseguire l'AI in locale, invece che su servizi cloud a consumo, ha senso quando pesano tre fattori: riservatezza dei dati, prevedibilita dei costi e continuita operativa. Un modello che analizza contratti, cartelle cliniche o documenti di produzione elabora informazioni sensibili: tenerle all'interno del perimetro aziendale riduce il rischio e semplifica la conformita al GDPR.

Sul piano economico, i servizi AI cloud si pagano a token o a ora di GPU: con un uso intenso e continuativo, la spesa mensile cresce in fretta. Un server dedicato ha un costo iniziale definito e, superato il punto di pareggio, l'inferenza diventa sostanzialmente gratuita. Infine c'e la continuita: un server locale funziona anche con connessioni instabili e non dipende dalle politiche di un fornitore esterno.

Il rovescio della medaglia e la gestione: hardware, aggiornamenti e sicurezza restano a carico dell'azienda. Per questo conviene affrontare il progetto con un partner che segue l'infrastruttura end-to-end, come descritto nella nostra pagina di intelligenza artificiale per aziende.

Quale hardware serve: GPU, CPU, RAM e alimentazione

Il cuore di un server AI e la GPU, perché i modelli di deep learning eseguono miliardi di operazioni in parallelo. La variabile più importante non e solo la potenza di calcolo, ma la VRAM, la memoria della scheda: e lei a determinare quanto grande può essere il modello caricato.

Come riferimento pratico per l'inferenza (l'uso del modello già addestrato):

• Modelli fino a 8 miliardi di parametri: bastano 16-24 GB di VRAM, ad esempio una scheda professionale da 24 GB.
• Modelli da 13-30 miliardi di parametri: servono 24-48 GB, spesso con quantizzazione a 4 bit per contenere l'occupazione.
• Modelli oltre i 70 miliardi di parametri: si lavora con più GPU e 80 GB o più di memoria complessiva.

Attorno alla GPU vanno dimensionati gli altri componenti. Una CPU con buon numero di core (16 o più) gestisce pre-elaborazione dei dati e I/O. La RAM di sistema dovrebbe essere almeno pari alla VRAM totale, meglio il doppio: 128 GB e un punto di partenza sensato. Attenzione all'alimentazione: le GPU AI assorbono molto, quindi servono alimentatori ridondati e un dimensionamento termico adeguato del locale o del rack, con climatizzazione dedicata.

Server nuovo o riqualificato

Non sempre serve partire da zero. Un server aziendale recente puo essere aggiornato con GPU e storage adatti all'AI, riducendo l'investimento. Valutiamo caso per caso stato dell'hardware e garanzie, un lavoro che si integra con la nostra assistenza server e con l'analisi dell'infrastruttura esistente.

Storage e RAID: come proteggere dati e modelli

I modelli AI, i dataset e gli embedding occupano molto spazio e vengono letti di continuo: lo storage deve essere veloce e affidabile. La scelta consigliata sono dischi NVMe per la bassa latenza, organizzati in RAID per unire prestazioni e protezione dei dati.

Le configurazioni più usate in un server AI:

• RAID 1 (mirroring): due dischi copia l'uno dell'altro, ideale per il sistema operativo e per i modelli critici. Se un disco si guasta, l'altro continua a lavorare.
• RAID 10: combina mirroring e striping, offre alte prestazioni in lettura e scrittura con tolleranza ai guasti. E la scelta tipica per i dataset di lavoro.
• RAID 5/6: massimizza lo spazio utile con parita distribuita, adatto agli archivi a freddo più che all'inferenza in tempo reale, per via delle scritture più lente.

Il RAID protegge dal guasto di un disco, ma non e un backup: non difende da cancellazioni accidentali, ransomware o errori umani. Serve sempre una strategia 3-2-1, con copie separate e testate. Se un array va in degrado o un disco cede, il recupero dev'essere gestito da chi conosce i controller: e il tipo di intervento che seguiamo nel nostro centro recupero dati senza improvvisazioni.

Virtualizzazione con Proxmox e alta affidabilita

Dedicare una macchina fisica a un solo compito e spesso uno spreco. Con Proxmox VE, hypervisor open source basato su KVM, si isolano i carichi AI in macchine virtuali o container, mantenendo sulla stessa infrastruttura altri servizi aziendali. Il vantaggio pratico e la flessibilita: snapshot prima di un aggiornamento, backup schedulati, migrazione dei carichi tra nodi.

Per far usare la GPU a una VM si configura il PCI passthrough, che assegna la scheda direttamente alla macchina virtuale con prestazioni quasi native. In scenari con più utenti si valuta il partizionamento della GPU, quando supportato dall'hardware.

Dove la continuita e critica si costruisce un cluster Proxmox a piu nodi con alta disponibilita: se un nodo si ferma, le VM ripartono su un altro. Per distribuire le richieste verso il servizio di inferenza si usa un load balancer come HAProxy, che indirizza il traffico su piu backend e gestisce i controlli di stato. Cosi un aggiornamento o un guasto non blocca l'accesso all'AI. Questi temi sono al centro del nostro lavoro di virtualizzazione dei server.

▶Mini server AI in locale: come potenziare l'intelligenza artificiale senza cloud (cluster Hector)

Vuoi approfondire? Guarda altri video sul nostro canale YouTube →

Sicurezza e conformita: GDPR e Direttiva NIS2

Un server che elabora dati aziendali e un bersaglio: va protetto per progetto, non a posteriori. La Direttiva NIS2, recepita in Italia, alza gli obblighi di cybersicurezza per un ampio numero di aziende, incluse molte PMI nelle catene di fornitura, e richiede misure tecniche, gestione degli incidenti e governance documentata.

Le misure di base su un server AI on-premise:

• Segmentazione di rete: il server AI su una VLAN dedicata, isolato dalla rete utenti, con firewall a controllare il traffico.
• Accessi a minimo privilegio: autenticazione forte, ruoli definiti e tracciamento di chi accede a modelli e dati.
• Aggiornamenti e hardening: sistema operativo, driver GPU e runtime AI mantenuti aggiornati, servizi non necessari disattivati.
• Backup cifrati e testati: copie offline verificate periodicamente, per ripristinare in fretta dopo un incidente.

Come System Integrator certificato ISO 9001 e ISO 27001, integriamo l'AI nella piu ampia strategia di sicurezza informatica: l'adozione dell'AI deve rafforzare la protezione dei dati, non aprire nuove falle.

Dalla macchina alla soluzione: la piattaforma Hector

Un server, da solo, non produce valore: serve il software che trasforma la potenza di calcolo in risultati per il business. Hector e la piattaforma AI di TN Solutions che gira su questa infrastruttura e permette di creare assistenti sulla knowledge base interna, automatizzare la lettura di documenti e collegare i modelli ai gestionali in uso.

Il vantaggio di eseguire Hector su un server locale e la sovranita del dato: le informazioni non escono dall'azienda e restano sotto il controllo di chi le possiede, in linea con le certificazioni ISO. E soprattutto c'e un unico interlocutore che progetta l'hardware, lo virtualizza, lo mette in sicurezza e mantiene la piattaforma nel tempo, senza rimpallo di responsabilita tra fornitori diversi.

Parliamo del tuo server per le intelligenze artificiali

Stai valutando di portare l'AI in azienda con un'infrastruttura tua? I nostri specialisti dimensionano hardware, storage e sicurezza sul tuo caso reale e ti accompagnano fino alla messa in produzione con la piattaforma Hector.

Chiama TN Solutions al numero 02 9517550 oppure scrivici dalla pagina contatti: progettiamo insieme un server AI concreto, sicuro e misurabile.