Passa ai contenuti principali

Il vero cuore di un sistema RAG non è l’LLM

 

Perché la parte più importante di un’architettura Legal-AI è quella che quasi nessuno guarda




Se chiedi a un sistema costruito con RAG:

“E in quel caso cosa succede?”

Per te è chiarissimo. Per un sistema di retrieval, è caos. Ed è proprio qui che nasce l’errore più diffuso nella costruzione dei sistemi RAG: credere che il problema sia “quale modello usare”.

Non lo è, perchè il vero problema è molto più a monte.

Il punto che quasi tutti ignorano

Quando costruiamo un sistema Retrieval-Augmented Generation, tendiamo a pensare che il flusso sia questo:

1. L’utente fa una domanda

2. La trasformiamo in embedding

3. Interroghiamo il database vettoriale

4. Generiamo la risposta

Sembra corretto, elegante e lineare, ma nel mondo reale è insufficiente. Perché la domanda dell’utente non è pronta per essere cercata !.

Il problema nascosto delle domande umane

Partiamo da un punto molto importante, le domande reali sono:

- incomplete

- contestuali

- ambigue

- dipendenti dalla conversazione precedente

- cariche di impliciti

Esempio reale:

> “Quali sono i suoi requisiti?”

Requisiti di cosa !?

Di quale procedura?

In quale contesto?

Secondo quale norma?

Un embedding, anche di 3072 dimensioni, non può risolvere un’ambiguità strutturale, se l’input è semanticamente incompleto, anche il vettore sarà incompleto, ed è qui che entra in gioco il vero cuore dell’architettura.

Il passaggio che cambia tutto

L’architettura sviluppata introduce uno strato critico tra l’utente e Qdrant:

`Input ↓ Memoria Conversazionale ↓ Riscrittura ↓ Query Retrieval-Friendly ↓ Embedding + BM25 ↓ Hybrid Retrieval ↓ Risposta`

Quel passaggio intermedio è la differenza tra un RAG dimostrativo e un RAG enterprise.

1. Presa in input

La domanda entra nel sistema in forma grezza. Non viene immediatamente trasformata in embedding. Ma prima viene analizzata nel contesto della conversazione.

2. Riscrittura (Query Rewriting)

Il sistema recupera la memoria recente della chat e chiede al modello:

- Questa domanda è autonoma?

- Contiene pronomi?

- Fa riferimento a elementi precedenti?

- È generica o richiede retrieval?

Esempio:

Domanda utente:

> “E se non viene approvato?”

Domanda riscritta:

> “Cosa accade nella procedura se il piano non viene approvato dalla scuola?”

Ora sì che possiamo cercare.

3. Trasformazione in qualcosa di “retrieval-friendly”

Una query retrieval-friendly è:

- autonoma

- esplicita

- non ambigua

- coerente con il linguaggio documentale

- priva di pronomi

- semanticamente stabile

Questo passaggio è il vero cuore dell’architettura , perché solo ora la domanda è interrogabile in modo strutturato.

Perché questo è più importante del modello

Molti pensano che la qualità del sistema dipenda da:

- GPT-4 vs GPT-4o

- Gemini vs Claude

- 1536 dimensioni vs 3072

In realtà, se la query è malformata, il problema è già avvenuto, perchè un grande modello non compensa una cattiva architettura.

Dense vs Sparse: due cervelli, non uno

Una volta che la query è corretta, entra in gioco il retrieval ibrido. Dense Retrieval (Embedding 3072)

Serve a:

- comprendere sinonimi

- collegare concetti giuridicamente vicini

- distinguere sfumature (annullabilità vs nullità)

- catturare intenzione semantica profonda

Ma non è sufficiente !!!!

Sparse Retrieval (BM25)

BM25 intercetta:

- numeri di articoli

- riferimenti normativi precisi

- nomi di procedure

- termini tecnici esatti

Nel diritto, perdere un numero di articolo significa perdere precisione, solo semantica non basta.

La fusione: 70% semantico, 30% lessicale

L’architettura esegue due ricerche in parallelo:

- ricerca semantica

- ricerca lessicale

Poi normalizza i punteggi e applica una fusione pesata:

`score = 0.7 * semantic + 0.3 * lexical`

Questo evita:

- eccesso di sinonimia

- perdita di precisione normativa

- ranking instabile

Il risultato è un contesto pulito, coerente, giuridicamente ancorato.

# Riduzione delle allucinazioni

Le allucinazioni non nascono dal nullama nascono quando:

- il contesto è rumoroso

- il ranking è impreciso

- la query è ambigua

- il retrieval è fragile

Pulendo la query prima della ricerca, si pulisce l’intero sistema. La qualità della risposta è una conseguenza architetturale, non un effetto magico del modello.

Errori comuni nei sistemi RAG

Dopo molti test comparativi, questi sono gli errori più frequenti:

1. Nessuna riscrittura contestuale

2. Embedding diretto della domanda grezza

3. Nessuna gestione della memoria

4. Solo retrieval semantico

5. Nessuna normalizzazione punteggi

6. Fusione arbitraria non calibrata

7. Confondere prompt engineering con architettura

Il vero errore è pensare che il retrieval sia una funzione tecnica, non una fase cognitiva.

Benchmark comparativo sintetico

La differenza non è solo tecnica. È strutturale.

Perché questo è “enterprise-ready”

In alcuni ambiti, non basta rispondere, ma serve:

- coerenza normativa

- auditabilità

- riduzione del rischio interpretativo

- stabilità nel tempo

- replicabilità

Un’architettura senza rewriting non è scalabile in ambienti professionali complessi.

La vera lezione

Il modello generativo non è il centro del sistema.

Il centro è il passaggio tra umano e retrieval.

> Presa in input

> Riscrittura

> Trasformazione retrieval-friendly

> Interrogazione Qdrant

Se questo passaggio è solido, il sistema è stabile, se questo passaggio è debole, nessun LLM potrà salvarlo.

Conclusione

La vera innovazione nei sistemi Legal-RAG non è l’LLM. È l’architettura.

È la disciplina nel trattare la domanda umana non come testo, ma come struttura da ricostruire prima di cercare, ed è lì che si decide la qualità del sistema.

Commenti

Post popolari in questo blog

Have mymonero some problems ?

Hello, this is user pandher from BTCtalk. I have been a follower and holder of Monero since 2014 when the first bitmonero thread appeared on BTCtalk. Since that thread i knew Monero was the only one worth following. The professionalism and honesty of the dev team was a rare sight in that shitcoin madness. Checking the Monero reddit page and speculation thread had become a morning habit with me. I rarely missed reading both of these in these 2 years. I saw the community grow from a few hundred to a few thousand. It was so good to watch, to witness. Although i was mostly non vocal i felt myself as a part of this community. Reading AP's posts about the new world domination were exciting. But today i bid farewell to this wonderful community. All my Monero have been stolen Since zhalox posted about his lost Monero, i woke up from my slumber and created a cold wallet using GingerAle's paranoid method. Only to find out all my 4 MyMonero accounts were wiped on 3 september 2016. I...

Dove le molecole smettono di Ur­tarsi: viaggio nella coerenza Quantistica della Vita

C’era un momento, nella storia della biologia, in cui la vita veniva immaginata come un enorme tavolo da biliardo. Molecole che si urtano. Collisioni casuali. Reazioni che accadono perché, semplicemente, qualcosa colpisce qualcos’altro nel modo giusto. Funzionava. Più o meno. Poi, lentamente, qualcosa ha iniziato a incrinarsi. Non perché quella visione fosse sbagliata, ma perché era incompleta. Troppo rumorosa. Troppo cieca. Troppo… inefficiente per spiegare ciò che osservavamo davvero. Perché dentro le cellule accadevano cose strane. Troppo veloci. Troppo precise. Troppo coordinate. Come se, invece di urtarsi alla cieca, le particelle… sapessero. Immagina di entrare dentro una cellula. Non troverai caos. Non troverai disordine. Troverai elettroni che scorrono come una valuta invisibile, scambiata con una precisione che sfida l’intuizione. Non saltano semplicemente da una molecola all’altra: a volte attraversano barriere che, secondo la fisica classica, non dovrebbero poter...

Ingegneria del contesto per l'intelligenza artificiale avanzata

  Quando si parla di IA generativa, il dibattito pubblico si concentra spesso su due aspetti: la potenza del modello e la qualità dei prompt. Tuttavia, tra questi due poli si trova un'area meno discussa ma cruciale:  il contesto  . Non stiamo parlando solo di "informazioni extra" per il modello, ma dell'architettura logica e operativa che determina il modo in cui l'intelligenza artificiale interpreta, collega e utilizza i dati per fornire risultati accurati e coerenti. È qui che entra in gioco  l'ingegneria del contesto  : l'arte (e la scienza) di progettare, organizzare e ottimizzare il contesto di un Large Language Model (LLM) per guidarlo verso risposte più affidabili, precise e utili. Perché l'ingegneria del contesto è importante Un LLM non "capisce" il mondo come gli esseri umani. Elabora modelli statistici in base agli input che riceve e ai dati di training.  Il contesto  è la combinazione di istruzioni, esempi, dati di supporto e rifer...