Fino uglaševanje ali RAG za slovenske dokumente?
Kdaj je pravi odgovor iskanje po dokumentih (RAG), kdaj učenje modela na vaših podatkih in kdaj oboje. S primeri iz slovenščine in številkami iz našega javnega dela.
To vprašanje dobimo skoraj na vsakem prvem klicu. Kratek odgovor: iskanje (RAG) je za dejstva, fino uglaševanje je za vedenje. Pogosto potrebujete oboje. Spodaj je daljši odgovor in kako se odločiti na podlagi meritve, ne občutka.
Kaj je kaj
RAG (retrieval-augmented generation) modelu pred odgovorom poišče ustrezne odstavke iz vaših dokumentov in jih doda v poziv. Model ostane enak, spremeni se to, kar vidi.
Fino uglaševanje model nauči na vaših primerih. Spremeni se model sam: kako piše, katere izraze uporablja, v kakšni obliki vrača odgovor in kdaj pokliče orodje.
Kdaj je pravi odgovor RAG
- Vsebina se pogosto spreminja. Ceniki, pravilniki, navodila, baza znanja, ki jo urejate vsak teden. Modela ne boste učili ob vsaki spremembi.
- Potrebujete vir. Odgovor mora navesti, iz katerega dokumenta in odstavka je.
- Dostop je omejen po dokumentih. Nekateri uporabniki smejo videti le del gradiva. Iskanje to lahko upošteva, model, ki si je vsebino zapomnil, pa ne.
- Rabite hiter začetek. Dober iskalni cevovod je v nekaj dneh, učenje modela traja dlje.
Kdaj je pravi odgovor fino uglaševanje
- Oblika izhoda je stroga. Izvleček v natančno določeno shemo JSON, razvrščanje v vaše kategorije, polja, ki jih prebere drug sistem.
- Terminologija in slog. Model naj piše kot vaša služba, z vašimi izrazi, ne kot splošen asistent.
- Jezik. Splošni modeli so v slovenščini slabši kot v angleščini: sklanjanje, dvojina, strokovni izrazi. To se naučijo iz primerov, ne iz poziva.
- Klicanje orodij. Agent mora vedeti, katero orodje poklicati in s katerimi argumenti, pa tudi kdaj ne sme poklicati nobenega.
- Manjši model. Uglašen manjši model pri ozki nalogi pogosto doseže velikega. Teče na vašem strežniku, hitreje in brez plačila po žetonu.
Kdaj oboje
Pri agentih skoraj vedno. Iskanje prinese sveža dejstva iz dokumentov, uglašen model pa zna z njimi delati: pravilno prebere tabelo, odgovori v pravi obliki in pokliče pravo orodje. Fino uglaševanje in iskanje nista tekmeca, ampak dva sloja istega sistema.
Kaj pokažejo naše številke
Vse spodaj je javno, z opisi modelov in rezultati na Hugging Face.
| Kaj smo naredili | Izmerjeno |
|---|---|
| Nadaljevano predučenje na 1,78 milijarde slovenskih žetonov (model 4B) | perpleksnost −51 % |
| Uglaševanje razpoznave slovenskega govora | napaka besed 46,8 % → 22,3 % |
| Uglaševanje klicanja orodij, 2.471 ločenih korakov | pravilnih odločitev "brez klica" 0,847 → 0,925 |
Zadnja vrstica je za agente najpomembnejša. Model po uglaševanju bolje ve, kdaj orodja ne sme poklicati. Tega ne dosežete z iskanjem, ker ni vprašanje dejstev, ampak vedenja.
Stroški in hitrost
- RAG ne zahteva učenja, vsak klic pa je daljši: poziv vsebuje najdene odstavke, zato je več žetonov in več čakanja. Pri tujem API-ju to plačujete pri vsakem klicu.
- Fino uglaševanje stane enkrat na začetku (in ob ponovnem učenju), potem pa je vsak klic krajši in cenejši, še posebej z manjšim modelom na lastnem strežniku.
Kaj se splača, je odvisno od obsega. Pri nekaj sto klicih na mesec je API pogosto cenejši. Pri tisočih na dan se računica obrne.
Kako se odločiti
Ne na podlagi mnenja, ampak meritve:
- Zberite petdeset resničnih primerov naloge s pravilnimi odgovori.
- Zamrznite jih kot evalvacijski nabor, ki ga nihče ne spreminja.
- Izmerite neuglašen model, nato model z iskanjem, nato uglašen model, vse na istem naboru.
- Izberite najpreprostejšo rešitev, ki doseže zahtevano raven.
Včasih je rezultat, da učenje ni potrebno in zadošča dobro iskanje. Tudi to je dober rezultat, ker ste ga izvedeli za ceno enega dneva, ne projekta.