Ollama: cos'è, a cosa serve e come si usa

Cos'è Ollama?

Ollama è un software open source (licenza MIT) che serve a eseguire modelli linguistici di grandi dimensioni in locale, su macOS, Linux e Windows. Si occupa di tutto ciò che serve per far girare un LLM sulla propria macchina: scarica i modelli dalla sua libreria pubblica, li carica in memoria sfruttando la GPU quando è disponibile (NVIDIA, AMD o Apple Silicon) e li rende utilizzabili da riga di comando e tramite un'API REST locale.

In altre parole, Ollama non è un modello di intelligenza artificiale e non è un servizio cloud come ChatGPT: è il motore che fa funzionare i modelli open — Llama di Meta, Mistral, Gemma di Google, Qwen, DeepSeek e molti altri — sul tuo hardware. È nato sopra il progetto llama.cpp e usa modelli quantizzati in formato GGUF, che riducono la memoria necessaria con una perdita di qualità contenuta.

A cosa serve Ollama, in concreto: assistenti e chatbot interni, ricerca e riassunto di documenti aziendali, supporto alla scrittura di codice e automazioni che interrogano il modello via API, senza che prompt e dati escano dalla rete aziendale.

▶Sai come spingere al massimo OLLAMA?

Vuoi approfondire? Guarda altri video sul nostro canale YouTube →

Perché scegliere Ollama?

Ollama è una scelta eccellente per diverse ragioni:

• Open Source: è un framework open source, il che significa che puoi accedere al codice sorgente e personalizzarlo secondo le tue esigenze.

• API Semplice: fornisce un’API user-friendly per creare, eseguire e gestire modelli linguistici. Puoi interagire con i modelli senza dover preoccuparti di dettagli complessi.

• Ampia Varianza di Modelli: supporta una vasta gamma di modelli generativi, inclusi Llama 2/3 di Meta, Mistral e Vicuna. Questo ti dà la flessibilità di scegliere il modello più adatto alle tue esigenze.

• Esecuzione Locale: Puoi eseguire modelli basati su LLM (Large Language Models) direttamente sul tuo sistema locale, senza dover fare richieste a server remoti.

Cosa rende Ollama diverso

La novità di Ollama non è un modello nuovo, ma la semplicità: dove prima servivano dipendenze Python, driver e conversioni manuali dei pesi, oggi bastano un installer e un comando. Ogni modello è descritto da un Modelfile, un file di poche righe simile a un Dockerfile in cui si fissano prompt di sistema, temperatura e lunghezza del contesto, così da creare varianti su misura con ollama create. L'API locale espone anche un endpoint compatibile con quello di OpenAI: molte applicazioni scritte per i servizi cloud possono usare un modello locale cambiando solo l'indirizzo. È lo stesso principio — modelli eseguiti su infrastruttura propria — alla base delle piattaforme di intelligenza artificiale private.

Come si usa Ollama in pratica: i comandi principali

Al di là della presentazione, usare Ollama tutti i giorni si riduce a poche righe di comando. Dopo l'installazione (uno script unico su Linux e macOS, un installer nativo su Windows), si scarica un modello e lo si esegue:

ollama pull llama3
ollama run llama3

ollama list mostra i modelli già scaricati in locale, ollama rm <modello> libera spazio su disco rimuovendo quelli non più necessari, e ollama serve espone un'API REST locale (di default sulla porta 11434) in modo che altre applicazioni — strumenti interni, chatbot, script — possano interrogarlo senza dipendere da un fornitore esterno:

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "Riassumi questo testo in tre punti"
}'

Dimensionare l'hardware: cosa conta davvero

Il fattore che incide di più sulle prestazioni di Ollama non è la velocità della CPU, ma la memoria — in particolare la memoria video (VRAM) della GPU, se si vogliono tempi di risposta accettabili. Come regola approssimativa, un modello richiede circa 2 GB di memoria per ogni miliardo di parametri con la quantizzazione standard (un modello da 7B richiede circa 8 GB, uno da 13B circa 16 GB, mentre uno da 70B in pratica richiede più GPU o una quantizzazione aggressiva per stare su una singola scheda). Ollama può girare interamente su CPU e RAM di sistema se non è disponibile una GPU compatibile, ma i tempi di risposta passano da pochi secondi a decine di secondi: accettabile per elaborazioni in background, non per un uso conversazionale interattivo. È esattamente la domanda di dimensionamento che emerge ogni volta che un'azienda chiede informazioni su come creare un server per le intelligenze artificiali: è la GPU e la sua VRAM, non la CPU, il componente su cui va costruito il budget.

Perché eseguirlo in locale invece di usare un'API cloud?

Per un'azienda, il motivo pratico per eseguire un modello in locale con Ollama invece di appoggiarsi a un'API cloud è il controllo sui dati: prompt e documenti non escono mai dalla rete aziendale, il che conta quando il materiale riguarda contratti, dati sanitari o comunque informazioni soggette a obblighi di riservatezza o al GDPR. Il compromesso è che i modelli locali — anche un buon modello open da 70B — restano generalmente indietro rispetto ai modelli cloud più grandi sui compiti di ragionamento complesso: la scelta corretta dipende quindi dal caso d'uso. La ricerca e il riassunto di documenti interni si prestano bene a un'implementazione locale con Ollama, mentre i compiti che richiedono la miglior qualità di ragionamento possibile possono continuare a giustificare un fornitore cloud, idealmente con un accordo sul trattamento dei dati in essere.

Conclusioni

Ollama ha portato l'esecuzione locale dei modelli linguistici alla portata di qualsiasi reparto IT: con l'hardware giusto, un'azienda può usare l'intelligenza artificiale generativa sui propri documenti senza cederli a terzi.

Articoli Correlati

Se vuoi saperne di più, ecco delle guide tematiche di approfondimento:

• I Vantaggi dell’Automazione IT per le Imprese

• Hector: Intelligenza Artificiale

• l’impatto della realta’ virtuale nell’ambito lavorativo

• Costruisci il tuo futuro: come creare un server per le intelligenze artificiali

• Intelligenza Artificiale: nuove opportunità per l’automazione IT