Majhen fino uglašen model za podporo strankam v slovenščini: natančnost, preklop na velik model, cena

Vodja podpore v trgovini, pri ponudniku interneta ali v servisu nas vpraša: ali lahko UI odgovarja našim strankam v slovenščini, z našimi izrazi in brez izmišljanja, in koliko to stane?

Kratek odgovor: da, za del zahtevkov. Majhen model (4B do 12B), naučen na vaših starih odgovorih, z iskanjem po bazi znanja in s preklopom na velik model, ko ni prepričan, pokrije ponavljajoča se vprašanja. Pri občutljivih zahtevkih pripravi osnutek za človeka. Kolikšen del zahtevkov to je, se ne ugiba. Izmeri se na zamrznjenem naboru vaših zahtevkov.

Kateri zahtevki so primerni in kateri ne

Primerni so zahtevki, ki se ponavljajo in imajo odgovor v nekem viru:

• "Kdaj zapade račun?", "Kako spremenim paket?", "Kje je moje naročilo?"
• navodila po korakih iz priročnika ali pogostih vprašanj;
• razvrščanje zahtevka v vašo kategorijo in predaja pravi ekipi;
• prvi odgovor, ki zbere manjkajoče podatke (številka naročila, model naprave).

Manj primerni ali neprimerni:

• pritožbe, kjer stranka pričakuje presojo in opravičilo človeka;
• odškodnine, vračila nad mejo, ki jo določite vi, izjeme od pogojev;
• karkoli s pravno ali zdravstveno posledico;
• vprašanja, na katera tudi vaša služba odgovarja vsakič drugače. Če ni enega pravilnega odgovora, ga model ne more naučiti in mi ga ne moremo izmeriti.

Meja ni tehnična. Določite jo vi, po kategorijah, še preden kaj merimo.

Podatki: koliko zahtevkov, čiščenje in anonimizacija

Zahtevki in e-pošta so bližje učnim podatkom kot PDF-ji: sporočilo stranke in odgovor vaše službe sta že par. Niso pa še učni podatki.

Koliko. Začnemo s petdesetimi resničnimi zahtevki z odgovori, ki jih je preveril nekdo, ki delo pozna. Ti postanejo zamrznjen testni nabor, na katerem se nihče ne uči. Koliko parov potrebuje učenje, je odvisno od tega, koliko različnih vrst zahtevkov imate. To pokaže meritev, ne pravilo na pamet. Kakovost šteje bolj kot količina: tisoč nepreverjenih odgovorov model nauči vaših napak.

Čiščenje. Iz zgodovine zahtevkov odstranimo podpise, citirano prejšnjo pošto in samodejne potrditve. Izločimo odgovore, po katerih je stranka zahtevek ponovno odprla, in podvojene pare. Odgovore, ki navajajo stare cene ali pogoje, ne učimo na pamet: tisto gre v bazo znanja, ki jo model prebere ob vsakem odgovoru.

Testni nabor iz zadnjega obdobja. Če ga sestavimo iz naključnih zahtevkov, so v učnem delu skoraj enaki primeri in rezultat je lepši, kot bo v praksi. Zato vzamemo zahtevke iz zadnjih tednov, ki jih model pri učenju ni videl.

Anonimizacija pred učenjem. Osebni podatki, na katerih se model uči, lahko ostanejo v utežeh. Imena, naslove, e-pošto, telefonske številke in številke pogodb zato zamenjamo, preden se učenje začne. Kako to merimo pri slovenskih sklonih, smo opisali v zapisu o anonimizaciji dokumentov z lokalnim modelom.

Arhitektura: majhen model, iskanje, preklop in človek

Kar za podporo strankam zgradimo:

1. Iskanje po bazi znanja (RAG). Ceniki, pogoji, navodila. Kar se spreminja, ostane v dokumentih, ne v modelu, in odgovor navede vir.
2. Majhen uglašen model, 4B do 12B. Naučen na vaših parih zna vaš ton, vaše izraze, vaše kategorije in obliko odgovora. Teče na vašem strežniku ali v EU.
3. Preklop na velik model. Ko iskanje ne najde vira, ko zahtevek ne spada v nobeno znano kategorijo ali ko odgovor ne prestane preverjanja (manjka vir, napačna oblika), gre zahtevek prek API-ja na velik model. Prej odstranimo osebne podatke in jih po odgovoru vrnemo. Kateri podatki nikoli ne smejo ven, določite na papirju. Klice API-ja zaračunamo po lastni ceni.
4. Človeška odobritev. Odgovor gre stranki šele, ko ga odobri človek, vsaj dokler meritve ne pokažejo, da je kategorija zanesljiva. Za pritožbe, vračila in pogodbe odobritev ostane. Kako stopnje samostojnosti dvigujemo, je v zapisu o agentih s človeško odobritvijo.

Delež preklopov je uporaben sam po sebi. Pove, kje mali model potrebuje več primerov, in je prva številka, ki jo spremljamo pri mesečnem vzdrževanju.

Kako to izmerimo

Na vašem zamrznjenem naboru primerjamo več postavitev, vse z istim iskanjem. Poročilo ima obliko kot spodaj; celice napolni meritev na vaših zahtevkih:

Postavitev	Pravilen odgovor	Pravilen vir	Pravilno predano človeku	Delež preklopov	Cena na 1.000 zahtevkov
Odprt model brez učenja + iskanje	–	–	–	–	–
Velik model prek API-ja + iskanje	–	–	–	–	–
Uglašen model 4B–12B + iskanje	–	–	–	–	–
Uglašen model + preklop na velik model	–	–	–	–	–

Prosto besedilo oceni neodvisni model sodnik po merilih, ki jih podpišete pred meritvijo. Vzorec preveri vaš človek. Rezultate pokažemo po kategorijah zahtevkov, ker skupno povprečje skrije kategorijo, ki ne deluje. Najslabši primer vedno navedemo dobesedno.

Javne številke za podporo strankam tu nimamo in si je ne bomo izmislili. Lahko pa pokažemo, kaj učenje spremeni pri vedenju, ki je za podporo najbolj podobno "vem, kdaj ne smem". Pri modelu Sraka 27B se je na 2.471 ločenih korakih delež pravilnih odločitev, da orodja ne pokliče, dvignil z 0,847 na 0,956. Na Slovenian-LLM-Eval doseže 0,871 proti 0,844 za svojo osnovo. Celotno obliko poročila pokaže vzorčno poročilo evalvacije.

Kdaj zadošča model brez učenja

Pošteno: pogosto.

• Odprt model brez učenja. Če so vaši odgovori večinoma dejstva iz baze znanja, ton ni posebej pomemben in kategorij je malo, je odprt model z dobrim iskanjem lahko dovolj. Pri evalvaciji ga izmerimo kot enega od kandidatov.
• Velik model prek API-ja. Pri nekaj sto zahtevkih na mesec, z dobrimi odgovori in podatki, ki smejo iz podjetja, ostanite pri API-ju. Kalkulator točke preloma pokaže, kdaj se lasten model začne splačati.
• Nimate preverjenih odgovorov. Najprej jih zberite petdeset. Brez njih ni česa meriti.

Učenje se splača, ko je zahtevkov veliko, ko mora model pisati kot vaša služba in uporabljati vaše izraze, ko podatki ne smejo iz hiše ali ko vas pri vsakem klicu drago stane dolg poziv z vsemi navodili.

Koliko stane

Cene iz našega javnega cenika, v EUR, brez DDV:

Korak	Kaj dobite	Cena
Enodnevna evalvacija	petdeset vaših zahtevkov, zamrznjen nabor, do pet izmerjenih modelov, rezultati po kategorijah, pisno priporočilo	1.900 €, upoštevano pri pilotu
Pilot S	uglašen model z iskanjem in preklopom, na podatkih, ki jih že imate, 2–3 tedne	3.200 €
Pilot M	ko je treba pare najprej očistiti in sestaviti, 4–5 tednov	9.000 €
Mesečno vzdrževanje	nove kategorije, ponovno učenje, meritev na istem naboru, spremljanje preklopov	od 690 €

Klice velikega modela zaračunamo po lastni ceni. Dobite uteži, zamrznjen nabor in skripte za evalvacijo.

Akt o UI: obvestilo stranki je obvezno

Od 2. avgusta 2026 velja člen 50 Akta o UI: ljudje, ki so v neposrednem stiku s sistemom UI, morajo to vedeti, razen če je očitno. Klepetalnik na vaši strani mora to povedati v prvem sporočilu. Pri e-pošti, ki jo pred pošiljanjem odobri človek, priporočamo kratko oznako, na primer "Pripravljeno z UI, pregledal človek". Če sistem daste v uporabo pod svojim imenom, ste lahko njegov ponudnik, mi smo dobavitelj. Datumi so v zapisu o tem, kaj mora podjetje narediti do 2. decembra 2026. To ni pravni nasvet.

Pogosta vprašanja

Ali lahko UI odgovarja strankam v slovenščini? Da, pri ponavljajočih se vprašanjih z jasnim virom v bazi znanja. Pri pritožbah, odškodninah in vsem, kar zahteva presojo, naj model pripravi osnutek, odloči pa človek.

Koliko starih zahtevkov potrebujemo? Za začetek petdeset preverjenih parov vprašanje–odgovor, ki postanejo zamrznjen testni nabor. Koliko jih potrebuje učenje, je odvisno od števila vrst zahtevkov in pokaže meritev, ne pravilo na pamet.

Kdaj gre zahtevek na velik model? Ko iskanje ne najde vira, ko zahtevek ne spada v znane kategorije ali ko odgovor ne prestane preverjanja. Pred pošiljanjem odstranimo osebne podatke, vsak tak klic pa beležimo in štejemo.

Ali moramo stranki povedati, da odgovarja UI? V klepetu da: po členu 50 Akta o UI mora človek vedeti, da je v stiku s sistemom UI, razen če je to očitno. Pri e-pošti, ki jo odobri človek, priporočamo kratko oznako.

Koliko stane, da izvemo, ali se splača? Enodnevna evalvacija na vaših zahtevkih stane 1.900 € in jo upoštevamo pri pilotu. Pilot S na podatkih, ki jih že imate, stane 3.200 €.