IA privata, su una DGX Station dedicata a lei
Un assistente che risponde dalla sua posta, dai suoi file e dai suoi documenti, costruito sul lavoro che fa davvero, su un supercomputer per l’intelligenza artificiale grande quanto un computer a torre, che serve lei e nessun altro. Sta nella mia struttura, accanto alla macchina che gestisce il suo impianto. Nulla viene inviato a OpenAI, Google o Microsoft.
È il massimo che offro, e si aggiunge al servizio gestito invece di essere venduto da solo: risponde dai dati che vivono già sulla macchina dedicata a lei.
Che cosa fa per lei
Risponde dalle sue carte
Gli chieda di un contratto, di uno scambio di posta o di dieci anni di verbali. Risponde dai suoi documenti e indica quelli che ha usato, così può controllare.
A ciascuno, solo ciò che può aprire
Sull’intero impianto di una famiglia o di un’azienda, risponde a ciascuno solo da ciò che quella persona può già aprire. Chi chiede degli stipendi senza avere accesso a quella cartella non ne ricava nulla.
Fa il lavoro che ripete
Bozze nella forma dei suoi documenti, la sintesi di una cartella, il confronto che fa ogni mese. Quando so quali compiti ripete, costruisco gli strumenti per farli.
La macchina
- Che cos’è
Una NVIDIA DGX Station: il chip GB300 Grace Blackwell Ultra, 748 GB di memoria condivisa fra processore e unità grafica, di cui 252 GB di memoria grafica veloce (HBM3e), e fino a 20 petaflop secondo i dati di NVIDIA. NVIDIA dichiara che fa girare modelli fino a mille miliardi di parametri, la misura di quanto è grande un modello linguistico.
- Chi la costruisce
La progetta NVIDIA, e i suoi partner la costruiscono e la vendono con il proprio nome: Dell Pro Max with GB300, HP ZGX Fury, ASUS ExpertCenter Pro ET900N G3, MSI XpertStation WS300, Supermicro Super AI Station e Gigabyte W775-V10. Scelgo fra queste per consegna e assistenza, e la ordino quando firma.
- Perché adesso si può
Un modello di queste dimensioni richiedeva armadi di server in un datacenter. Oggi sta in una sola macchina, e quella macchina può stare accanto a quella che già gestisce il suo impianto.
- Dove sta, e di chi è
Nella mia struttura a Busto Arsizio, accanto alla macchina dedicata a lei, collegata a quella e a niente che possa portare fuori i suoi dati. La compro io con il prezzo e resta mia, come quella macchina; i suoi documenti, le sue domande e ogni risposta sono suoi.
Che cosa faccio
— La dimensiono
Quali modelli, per quante persone, con quale velocità di risposta: lo decidiamo insieme prima di ordinare qualsiasi cosa.
— La costruisco
La collego alla sua posta, ai suoi file e ai suoi documenti, stabilisco chi può chiedere di che cosa e costruisco gli strumenti per i compiti che ripete. Dove adattare un modello al suo materiale (fine-tuning) lo rende migliore nel suo lavoro, faccio anche quello.
— La aggiorno
Ogni pochi mesi escono modelli aperti migliori. Ogni trimestre rivedo il suo e lo porto a uno più recente quando è migliore per il suo lavoro, non perché è nuovo.
— Le dico che cosa non sa fare
I modelli aperti fatti girare in privato sono buoni e migliorano, e i modelli più grandi delle grandi aziende sono ancora avanti su alcuni compiti. Sa che cosa sa fare il suo, e che cosa no, prima di pagarlo.
Quanto costa
€400.000 l’anno, in aggiunta
La DGX Station, la costruzione, i modelli e la revisione trimestrale, in una sola cifra. Non c’è un preventivo per l’hardware: la macchina la compro io con questa cifra e resta mia. Si paga alla firma, poi ogni anno in anticipo.
€50.000 l’anno, il servizio sotto
L’IA privata si aggiunge al servizio gestito, che sposta posta, file e documenti su una macchina dedicata a lei: 100.000 € il primo anno, 50.000 € dopo. Insieme, il primo anno fa 500.000 € e ogni anno successivo 450.000 €.
Tutte le cifre sono al netto dell’IVA, che si aggiunge quando è dovuta. Le condizioni sono quelle del servizio, come le descrive se mi fermo.
Domande
È all’altezza di ChatGPT?
Sui suoi documenti può fare meglio, perché risponde da quelli e ChatGPT non li ha. Sulle domande generali, i modelli più grandi delle grandi aziende sono ancora avanti su alcuni compiti. Questa macchina fa girare modelli aperti da centinaia di miliardi di parametri, e prima che paghi le dico chiaramente dove il suo resta indietro.
Arriva qualcosa a OpenAI, Google, Microsoft o NVIDIA?
No. I modelli girano sulla macchina, e i suoi documenti e le sue domande restano lì. Gli aggiornamenti del software entrano; nulla di suo esce.
Posso averla senza spostare la posta e i file?
No. Risponde dai dati che vivono sulla macchina dedicata a lei, quindi si aggiunge al servizio gestito e non lo sostituisce.
Chi può leggere le mie domande?
Lei, e le persone che autorizza. Come amministratore posso tecnicamente accedere a quella macchina, come a tutto ciò che gestisco per lei; chi può accedere ai suoi dati spiega che cosa significa e come è limitato.
Quando comincia a rispondere?
Quando il suo impianto è sulla macchina dedicata a lei e la DGX Station è arrivata. La consegna dipende dal produttore, e le do la data quando la ordino. Prima risponde dai suoi documenti; gli strumenti per il lavoro che ripete arrivano man mano che lo individuiamo.
Mi dica che cosa gli chiederebbe
Basta una frase. Rispondo entro due giorni lavorativi con un orario per parlarne.