Cosa succede se il tuo modello linguistico è molto più intelligente di quanto sembri — ma non lo stai usando nel modo giusto? È questa la domanda che guida il lavoro di Karan e Du nel loro studio del 2025, Reasoning with Sampling . Il risultato è una proposta tanto sottile quanto potenzialmente dirompente: modificando la strategia di campionamento durante l’inferenza , si può ottenere un miglioramento significativo nella capacità di ragionamento di un modello linguistico base — senza toccare l’addestramento. Nel mondo dei grandi modelli linguistici (LLM), dove ogni punto percentuale di accuratezza costa milioni in compute, questa possibilità suona come un invito all’ottimizzazione intelligente: spremere di più da ciò che già abbiamo, senza inseguire l’ennesimo fine‑tuning. Il modello base non è stupido: lo stai solo interrogando male Tradizionalmente, l’inferenza nei modelli linguistici segue strategie di campionamento relativamente semplici: top‑k , nucleus sampling , temperatu...
Cosa succede se il tuo modello linguistico è molto più intelligente di quanto sembri — ma non lo stai usando nel modo giusto?
È questa la domanda che guida il lavoro di Karan e Du nel loro studio del 2025, Reasoning with Sampling. Il risultato è una proposta tanto sottile quanto potenzialmente dirompente: modificando la strategia di campionamento durante l’inferenza, si può ottenere un miglioramento significativo nella capacità di ragionamento di un modello linguistico base — senza toccare l’addestramento.
Nel mondo dei grandi modelli linguistici (LLM), dove ogni punto percentuale di accuratezza costa milioni in compute, questa possibilità suona come un invito all’ottimizzazione intelligente: spremere di più da ciò che già abbiamo, senza inseguire l’ennesimo fine‑tuning.
Il modello base non è stupido: lo stai solo interrogando male
Tradizionalmente, l’inferenza nei modelli linguistici segue strategie di campionamento relativamente semplici: top‑k, nucleus sampling, temperature… tutte pensate per bilanciare tra esplorazione e coerenza. Ma cosa succede se non è la “risposta migliore” quella che serve, bensì la più ragionata?
Karan e Du suggeriscono che modificare la forma della distribuzione da cui si campiona può già fare la differenza. La proposta è semplice: anziché campionare da , si campiona da , dove concentra la probabilità sulle sequenze più probabili, amplificandone l’effetto. Una trasformazione della distribuzione, insomma — non un cambiamento del modello.
E il bello è che funziona. I risultati su benchmark di ragionamento matematico e programmazione (MATH500, HumanEval, GPQA) mostrano miglioramenti notevoli — paragonabili a quelli ottenuti da modelli raffinati con reinforcement learning (come GRPO). Ma qui, nessun RL, nessun costo extra di addestramento. Solo un inferenziatore più sofisticato.
MCMC: riscrivere il pensiero, passo dopo passo
Il secondo ingrediente della proposta è più tecnico, ma centrale. Si tratta di un algoritmo autoregressivo basato su MCMC (Markov Chain Monte Carlo) che, in pratica, riscrive iterativamente parti della sequenza generata.
Immagina di chiedere a un LLM di risolvere un problema matematico. Invece di generare tutto in un colpo, l’algoritmo genera una bozza iniziale e poi seleziona sottosequenze da riscrivere, guidato dalla distribuzione modificata . In ogni passaggio, la sequenza viene raffinata — non necessariamente per correggere un errore evidente, ma per esplorare percorsi più coerenti e consistenti.
L’idea ricorda da vicino il comportamento umano: raramente scriviamo una soluzione complessa tutta di getto; più spesso la abbozziamo, la rileggiamo, la riscriviamo. Questo comportamento iterativo è esattamente ciò che l’algoritmo riproduce — e a quanto pare, con ottimi risultati.
E se bastasse generare meglio?
Questa domanda, a prima vista banale, apre una crepa nel paradigma dominante.
L’approccio standard è migliorare i modelli rendendoli sempre più grandi, o raffinati con fine‑tuning supervisionato o RL. Ma questo comporta costi esponenziali, tempi lunghi, e spesso un irrigidimento del comportamento del modello.
I metodi proposti da Karan e Du ribaltano il punto di vista: e se il modello avesse già dentro di sé molte più capacità di quanto emerga, ma le strategie di campionamento lo limitassero?
Un esempio concreto: il paper mostra che modelli come GPT-2 Large, senza alcun fine‑tuning, riescono a risolvere problemi aritmetici complessi (che normalmente falliscono) quando vengono interrogati con MCMC su . Lo stesso accade per domande di programmazione o ragionamento multi-hop.
Un modo diverso di dire: il modello non ha imparato di più — gli stai solo chiedendo meglio.
Meno collasso, più diversità
Un altro punto cruciale è la diversità delle generazioni. L’ottimizzazione via reinforcement learning tende a collassare verso poche risposte “ottime”, replicabili e simili. Questo può essere desiderabile per task con una sola soluzione corretta — ma è un problema in tutti i contesti dove servono alternative creative, spiegazioni variegate, pluralità di visioni.
Il campionamento MCMC + , invece, mostra una proprietà notevole: migliora la qualità media delle risposte mantenendo una buona variabilità. Niente collasso. Anzi, esplorazione attiva di più traiettorie valide. Nei test, questo si traduce in una maggiore copertura delle possibili soluzioni corrette — e in una generazione più ricca.
Nel contesto della programmazione automatica, ad esempio, significa che su HumanEval si ottengono più varianti corrette dello stesso codice. In matematica, più dimostrazioni corrette, con stili diversi.
Il modello come motore, l’inferenza come volante
Alla fine, la distinzione è chiara: il modello è il motore; l’inferenza è il volante. Spingere il modello al massimo senza saperlo guidare bene è uno spreco. E costruire un motore più potente per ogni curva che non sappiamo affrontare è, semplicemente, inefficiente.
È qui che il lavoro di Karan e Du offre uno spunto strategico: investire nella progettazione di strategie inferenziali più sofisticate può offrire un ritorno comparabile — o superiore — a quello ottenibile con il raffinamento del modello stesso.
Una prospettiva utile per chi costruisce pipeline industriali con LLM, dove il costo di inferenza è spesso più sostenibile di quello di addestramento. Ma anche per chi, semplicemente, cerca il massimo da modelli già disponibili (open source o commerciali).
E quindi?
Non tutti i problemi si risolvono generando di più. A volte si risolvono generando meglio.
Il lavoro di Karan e Du ci ricorda che il comportamento dei modelli linguistici non è solo una questione di parametri o dataset, ma anche di come li interroghiamo. E che l’intelligenza apparente di un LLM dipende anche, e forse soprattutto, da come la lasciamo emergere.
Per non perderti i prossimi approfondimenti sul mondo dell’intelligenza artificiale e dell’innovazione, seguimi qui per restare sempre aggiornato.
FAQ
1. Cos’è il campionamento da ?
È una trasformazione della distribuzione di probabilità del modello: alzare alla potenza enfatizza le sequenze più probabili, aiutando a selezionare risposte più coerenti.
2. In cosa consiste il metodo MCMC autoregressivo proposto?
È un algoritmo che riscrive iterativamente porzioni della sequenza generata, migliorandola passo dopo passo secondo una catena di Markov.
3. Serve modificare l’architettura del modello per applicare queste tecniche?
No. Le tecniche agiscono solo sull’inferenza, quindi sono compatibili con modelli già addestrati e non richiedono modifiche strutturali.
4. Perché queste tecniche sono importanti a livello industriale?
Perché permettono di migliorare le prestazioni senza riaddestrare modelli, riducendo costi e complessità operativa.
5. Questi metodi sostituiscono l’addestramento o lo completano?
Lo completano. Non eliminano il bisogno di modelli di base solidi, ma permettono di sfruttarne meglio le capacità latenti.
rif. https://arxiv.org/pdf/2510.14901