01Quando conviene davvero
- Situazione
- Dati sanitari, legali, finanziari o segreti industriali
- API di un fornitore
- Possibile con contratti adeguati, ma i dati escono
- Modello privato
- I dati non escono mai
- Situazione
- Poche richieste al giorno
- API di un fornitore
- Più economica
- Modello privato
- Costo fisso dell'hardware
- Situazione
- Molte richieste continue
- API di un fornitore
- Il costo cresce con l'uso
- Modello privato
- Costo prevedibile
- Situazione
- Serve il modello più capace in assoluto
- API di un fornitore
- Migliore
- Modello privato
- Un gradino sotto sui compiti più complessi
- Situazione
- Ambienti senza internet
- API di un fornitore
- Non utilizzabile
- Modello privato
- Funziona offline
Spesso la risposta giusta è mista: un modello privato per i dati sensibili e un'API per il resto, dietro la stessa interfaccia.
02Cosa serve per farlo funzionare
- Scelta del modello tra quelli open source, in base alla lingua, al compito e all'hardware disponibile. Non sempre serve il più grande.
- Hardware o cloud: una GPU dimensionata sul modello e sul numero di utenti contemporanei, oppure un fornitore cloud con sede e dati in UE.
- Server di inferenza ottimizzato, con coda delle richieste e limiti per utente.
- RAG sui documenti se il modello deve rispondere su dati aziendali: vedi Chatbot e RAG sui documenti.
- Monitoraggio: tempi di risposta, errori, costi e qualità misurata nel tempo.
03Come lavoro
- Discovery. Prima di scrivere codice: interviste, analisi dei dati che hai già, vincoli tecnici e di business messi sul tavolo.
- Architettura. Schema dei dati, confini dei componenti e punti di rottura decisi su carta, quando cambiarli costa un'ora e non un mese.
- Sviluppo. Iterazioni brevi con demo funzionanti invece di un'unica consegna finale. L'AI accelera dove ha senso, ma non sostituisce revisione e test.
- Consegna e crescita. Documentazione, procedure operative e un sistema che il tuo team può gestire senza dipendere da me. Nessun vincolo di fornitore.
04Quanto costa
Ogni progetto ha un prezzo definito dopo una call di analisi: la stessa parola, "chatbot" o "agente", può voler dire un prototipo di due settimane o un sistema in produzione per migliaia di utenti. Cosa sposta il prezzo:
- dimensione del modello e numero di utenti contemporanei, che decidono l'hardware;
- server in sede o cloud europeo;
- integrazione con i sistemi esistenti e con i permessi aziendali;
- esigenze di adattamento del modello al tuo linguaggio o ai tuoi documenti;
- livello di assistenza dopo il rilascio.
La prima call è gratuita e finisce con una risposta chiara: se il progetto ha senso, quanto è grande, da cosa partire. Per un ordine di grandezza del mercato c'è la guida Quanto costa un chatbot AI aziendale.
Domande frequenti
Un LLM privato è conforme al GDPR?
Tenere i dati sui propri server semplifica molto la conformità, ma non la garantisce da sola: servono comunque base giuridica, informative, registrazione degli accessi e misure di sicurezza. Il vantaggio è che nessun dato passa a terzi.
Un modello open source è all'altezza di quelli commerciali?
Per molti compiti aziendali (riassunti, estrazione di dati, risposte su documenti) sì. Sui ragionamenti più complessi i modelli commerciali di punta restano avanti: per questo la valutazione si fa sui tuoi casi reali, non sulle classifiche.
Serve comprare una GPU?
Non necessariamente. Si può partire in cloud europeo pagando a consumo e passare all'hardware in sede solo quando i numeri lo giustificano.