IA, il CERT-AgID analizza il rapporto tra velocità e sicurezza nei Large Language Model

Accelerare le risposte dell’intelligenza artificiale è fondamentale per migliorare l’efficienza dei servizi digitali, ma non può avvenire a scapito della sicurezza. È questo il messaggio del nuovo paper del CERT-AgID, dedicato alle tecniche di ottimizzazione dei Large Language Model e ai possibili impatti sull’affidabilità dei sistemi informatici della Pubblica Amministrazione.

Multi-Token Prediction: più velocità, ma con controlli rigorosi

Il nuovo studio del CERT-AgID approfondisce il funzionamento del Multi-Token Prediction (MTP), una delle tecnologie più promettenti per ridurre i tempi di risposta dei modelli di intelligenza artificiale. La tecnica, spesso impiegata insieme al cosiddetto decoding speculativo, consente al sistema di prevedere più parole contemporaneamente invece di generarle una alla volta, aumentando così le prestazioni.

Il meccanismo si basa sulla collaborazione tra un modello principale e un modello secondario più leggero, incaricato di anticipare le possibili continuazioni del testo. Le proposte vengono poi validate dal modello principale, che mantiene il controllo finale sull’output. Questo approccio permette di velocizzare l’elaborazione senza modificare il risultato finale, a condizione che il processo di verifica sia gestito correttamente.

Paper del CERT-AgID: i rischi per affidabilità e sicurezza operativa

Secondo il CERT-AgID, la criticità principale non riguarda tanto la rapidità di elaborazione quanto la gestione dello stato interno del modello. Se il sistema non distingue correttamente tra le parole semplicemente ipotizzate e quelle già validate, può verificarsi un disallineamento della memoria interna.

Una condizione di questo tipo potrebbe compromettere la stabilità dei servizi digitali e, nei casi più gravi, incidere sulla coerenza delle risposte generate dall’intelligenza artificiale, con possibili ripercussioni sulla sicurezza operativa delle infrastrutture informatiche della Pubblica Amministrazione.

Paper del CERT-AgID: i risultati dello studio

Le prove condotte su architetture locali evidenziano che il modello assistente dovrebbe essere il più prevedibile possibile, limitandosi a suggerire le continuazioni più semplici e facilmente verificabili dal modello principale.

Lo studio sottolinea inoltre che le prestazioni non devono essere valutate esclusivamente sulla velocità media, ma anche analizzando i casi peggiori e gli eventuali picchi di rallentamento. Solo un equilibrio tra ottimizzazione delle performance e rigoroso controllo dello stato interno del sistema consente di sviluppare soluzioni di IA che siano non solo rapide, ma anche affidabili, verificabili e resilienti agli utilizzi impropri. Il report completo è disponibile tra le pubblicazioni del CERT-AgID dedicate alla sicurezza informatica.

Consulta il comunicato sul sito AGID
Consulta il Report

Aggiornati con i volumi di EPC Editore

Intelligence applicata alla security aziendale

Il volume si propone di fungere da collegamento tra le metodologie di analisi e l’attività operativa del responsabile della sicurezza aziendale, offrendo una prospettiva innovativa sulla security aziendale.

Partecipa ai corsi dell’istituto INFORMA