NOT THE BEST, BUT GOOD ENOUGH – Allineare la capacità dei modelli linguistici al valore del task. Questo è lo studio di Seeweb per delineare il primo un framework di adozione per CIO, CTO e AI leader.
Un approfondimento che propone un cambio di prospettiva: passare dalla scelta del modello più potente alla progettazione di sistemi AI efficienti, sostenibili e governabili.
Tra i temi affrontati ci sono il costo reale dell’AI, il ruolo del model routing nell’ottimizzazione delle risorse, le architetture AI e l’impatto delle scelte tecnologiche sulla sostenibilità.
Sommario
La premessa di Antonio Baldassarra, CEO Seeweb
La domanda che molte organizzazioni si pongono sull’intelligenza artificiale non riguarda più l’opportunità di adottarla, ma il modo migliore per integrarla nei processi evitando che i costi diventino ingestibili, la qualità decada in modo silenzioso e i rischi diventino difficili da misurare o attribuire. Scegliere un singolo modello, per quanto avanzato, non è più sufficiente.
La vera differenza la fa la struttura del sistema nel suo complesso, ovvero le modalità con cui si stabilisce quanta risorsa computazionale destinare a ciascuna richiesta, a come si smistano i vari compiti, chi governa la catena di chiamate nei flussi agentici per rendere l’intera infrastruttura trasparente e controllabile e, non in ultimo: come riuscire a proteggere i dati condivisi con il sistema di intelligenza artificiale.
I modelli più avanzati migliorano in modo evidente le proprie prestazioni generando sequenze intermedie di token prima di produrre la risposta finale. Queste fasi, dette “di ragionamento” aumentano le probabilità di ottenere un risultato migliore, nascondere la modalità di ragionamento esplicita o chiedere al sistema di non mostrare questi passaggi non elimina il processo di calcolo sottostante e la spesa conseguente in termini di token.
Di conseguenza, diventa indispensabile spostare il focus dal prezzo del singolo token al costo totale di gestione. Valutare un sistema esclusivamente dal prezzo per milione di token offre una visione parziale. Il costo reale include fattori decisivi come la latenza avvertita dagli utenti finali, il tempo dedicato alla risoluzione degli errori e ai tentativi falliti, le attività di monitoraggio, l’orchestrazione dei flussi, la formazione del personale e gli adempimenti normativi.
Concentrarsi soltanto sul risparmio marginale del token rischia di generare benefici immediati ma fittizi, destinati a tradursi in costi maggiori quando il calo della qualità costringe i processi operativi a compensare le inesattezze. La latenza stessa costituisce un vincolo di business determinante, dato che una soluzione economica ma eccessivamente lenta può rivelarsi inutilizzabile nella pratica.
Questa dinamica emerge chiaramente nell’analisi economica dei processi di elaborazione. Facciamo qualche esempio. Affidare ogni tipologia di richiesta a un unico modello di grandi dimensioni porta a sprecare risorse sulle operazioni basilari ed a creare colli di bottiglia su quelle articolate. Un approccio che diversifica la gestione in base alla difficoltà delle richieste o ai contesti di dominio delle stesse (un argomento di matematica piuttosto che uno di comunicazione efficace), indirizzando i compiti semplici verso modelli leggeri e riservando le risorse più avanzate ai casi complessi, permette di ottimizzare l’andamento della spesa complessiva.
Per gestire questa ripartizione delle risorse si possono combinare diverse strategie operative. Come viene ampiamente illustrato in questo white paper, l’elemento comune a queste soluzioni è il superamento della scelta statica di un modello, fosse anche il migliore in tutti i benchmark, in favore di una gestione dinamica delle capacità disponibili. Ciò che conta è comprendere quali interazioni siano indispensabili, quali passaggi si possano accorciare o eliminare e dove posizionare controlli strategici per evitare che le spese aumentino in modo incontrollato, integrando l’affidabilità e il controllo dei costi all’interno dello stesso progetto.
Questo approccio si riflette direttamente sulla governance del sistema. Garantire la tracciabilità delle decisioni diventa un requisito fondamentale per poter valutare e correggere il sistema. Per affrontare tale complessità, lo strumento decisionale più efficace non consiste in una graduatoria di modelli, ma in una matrice strutturata che colleghi ciascuna tipologia di compito al livello di capacità e calcolo necessario. Tale visione guida anche la scelta dell’infrastruttura, in cui cloud pubblico, ambienti dedicati di Private AI in cloud e sistemi interni rappresentano opzioni complementari da integrare secondo le esigenze di velocità, controllo dei dati e costi. Un’architettura ben bilanciata consente di mantenere la gestione diretta dei carichi di lavoro più critici e prevedibili, sfruttando le risorse esterne per far fronte alle variazioni di volume e offrendo – come sottoprodotto prezioso – un tracciamento atomico del flusso dei dati e della loro tutela (sia dal punto di vista normativo, che strategico).
Individuare il modello più potente del momento è “vanità”; saper progettare un sistema complessivo in cui costi, qualità e gestione del rischio siano la conseguenza di regole chiare, misurabili e modificabili – e non il risultato di scelte di fornitori globali che ingabbiano l’utente in un recinto di Cloud e AI – consente la costruzione di un vantaggio competitivo solido e duraturo.
Evitare di restare vincolati a configurazioni in cui l’allocazione delle risorse, il livello di ragionamento, la tracciabilità e i meccanismi di controllo siano opachi o difficilmente adattabili agli obiettivi specifici dell’organizzazione costituisce esso stesso un elemento di valore e di mitigazione del rischio. Un’architettura ben progettata consente di mantenere il governo su come e quando utilizzare le capacità dei modelli, su quali carichi di lavoro tenere sotto controllo diretto e su come far evolvere il sistema nel tempo, in coerenza con le priorità aziendali.
Rifuggire dall’utilizzo di sistemi centralizzati e oligopolistici da parte di un’azienda evita quello che è il suo rischio più grande: perdere l’identità e la forza derivanti dal pensiero laterale e individuale, alla base dell’essenza stessa dell’azienda e di quello che, per l’Italia, spesso individuiamo come “l’essenza del Made in Italy”: un patrimonio che va protetto e reso sempre più competitivo attraverso l’uso consapevole degli strumenti più moderni.
