Kaj UI je in kaj ni

Cilji

• Razumeti, da jezikovni model napoveduje naslednjo besedo in zakaj iz tega sledi tako moč kot napake.
• Prepoznati tri glavne omejitve: zastarelo znanje, samozavestne napake (halucinacije) in pristranskost.
• Poznati glavna orodja (Claude, ChatGPT, Gemini), njihove razlike in brezplačne ter plačljive različice.
• Vedeti, katere podatke smemo vpisati v javno orodje in katerih ne.

Glavna vaja

Isto vprašanje zastavite trem orodjem in primerjajte odgovore: kaj je pravilno, kaj izmišljeno, kaj zastarelo in kako orodje ravna, ko ne ve.

Zakaj ta delavnica

Večina ljudi začne z UI tako, da vpraša kaj, dobi prepričljiv odgovor in mu verjame. Ali pa dobi en slab odgovor in orodje zavrže. Oboje izvira iz napačne predstave o tem, kaj orodje je. Kdor razume, da model ne »ve«, ampak napoveduje verjetno besedilo, ve tudi, kdaj mu zaupati, kdaj preveriti in kako vprašati, da bo odgovor boljši. To je osnova pismenosti UI, ki jo Akt o UI v členu 4 pričakuje od podjetij, ki UI uporabljajo.

Konkretno: po delavnici boste znali v dveh minutah presoditi, ali je odgovor orodja za vašo nalogo (ponudba, opis delovnega mesta, povzetek pogodbe) uporaben takoj, uporaben po preverjanju ali sploh ne.

Potek

Čas	Del	Kaj delamo
0:00–0:15	Uvod	Kdo že uporablja UI, za kaj, kaj je koga presenetilo. Zapišemo pričakovanja na tablo.
0:15–0:45	Kako deluje model	Napovedovanje naslednje besede, učenje na besedilih, okno konteksta, zakaj isti poziv da različne odgovore. Prikaz v živo.
0:45–1:05	Kje se moti	Halucinacije, datum znanja, pristranskost, računanje, izmišljeni viri. Pet kratkih prikazov.
1:05–1:15	Odmor
1:15–1:55	Vaja: trije modeli	Delo v parih, isto vprašanje v treh orodjih, izpolnjevanje primerjalne tabele.
1:55–2:15	Pregled vaje	Pari predstavijo najbolj zanimivo razliko. Skupaj izpeljemo pravila zaupanja.
2:15–2:30	Varnost in zaključek	Kateri podatki ne sodijo v javno orodje. Kartica z desetimi pravili. Napoved naslednje delavnice.

Vsebina

Kaj je jezikovni model

Jezikovni model je program, ki se je iz ogromne količine besedila naučil, katera beseda verjetno sledi prejšnjim. Ko mu napišemo vprašanje, besedo za besedo sestavi odgovor, ki je statistično najbolj smiseln. Ne išče po bazi dejstev in ne razume sveta, kot ga razumemo mi, zna pa izjemno dobro posnemati, kako bi odgovoril nekdo, ki se na temo spozna.

Iz tega sledi nekaj praktičnih posledic:

• Odgovor je vedno tekoč in samozavesten, tudi kadar je napačen. Ton ne pove ničesar o resničnosti.
• Isto vprašanje da vsakič malo drugačen odgovor. To ni napaka, tako je orodje zgrajeno.
• Model pozna tisto, kar je bilo pogosto v učnih besedilih. O splošno znanih temah je zanesljivejši kot o lokalnih, redkih ali novih.
• Model ne ve, česa ne ve, razen če je bil naučen, da to prizna, ali če mu damo vire.

Prikaz v živo: naslednja beseda

Izvajalec na projektorju začne stavek in pokaže, kaj je verjetno nadaljevanje. Nato isti poziv zažene trikrat v novih pogovorih in pokaže, da se odgovori razlikujejo.

Dopolni stavek na tri različne načine, vsak naj ima največ 15 besed:
»Dobavni rok za naročilo se je podaljšal, ker ...«

Vprašanje za skupino: kateri nadaljevanji sta »verjetni« in kateri »resnični«? Model o vašem naročilu ne ve nič, verjetno pa zna sestaviti vsako. To je bistvo delavnice v enem primeru.

Okno konteksta

Model v enem pogovoru »vidi« samo omejeno količino besedila: naš poziv, priložene dokumente in dosedanji pogovor. Temu rečemo okno konteksta. Kar je zunaj njega, zanj ne obstaja. Zato si orodje ne zapomni pogovora od včeraj (razen če ima vklopljen spomin) in zato dolg pogovor sčasoma »pozabi« začetek.

Praktično pravilo: če je pogovor dolg in odgovori postajajo nenatančni, začnite nov pogovor in na kratko povzemite, kar je pomembno. Isto velja za odločitve, ki ste jih sprejeli na začetku (»vikamo stranke«, »cene so brez DDV«): ponovite jih.

Tri glavne omejitve

Zastarelo znanje. Vsak model ima datum, do katerega so bili zbrani učni podatki. Za novejše dogodke ne ve, razen če orodje med odgovarjanjem išče po spletu. Vprašanje »kaj je danes najnovejše« brez iskanja da zastarel odgovor.

Primer iz prakse: računovodja vpraša za trenutno veljavno stopnjo ali rok in dobi odgovor, ki je veljal pred leti. Pri vsem, kar se spreminja (davčne stopnje, roki, cene, predpisi), vklopite iskanje po spletu ali odgovor preverite pri uradnem viru (PISRS, FURS, ZPIZ).

Samozavestne napake (halucinacije). Model si izmisli podatek, citat, sodbo, članek zakona ali vir, ki zveni verjetno, pa ne obstaja. Najpogosteje pri: natančnih številkah, imenih in datumih, citatih in sklicih, lokalnih temah (slovenski predpisi, manjša podjetja), vprašanjih, ki predpostavljajo napačno dejstvo (»Zakaj je Ljubljana glavno mesto Hrvaške?«).

Primer iz prakse: v logistiki vprašate po pravilih o vožnji in počitkih voznikov ter dobite lepo oštevilčen odgovor s členi uredbe. Število ur je lahko pravilno, številka člena pa izmišljena. Model vam ne bo rekel, da je člen uganil.

Pristranskost. Model odraža besedila, iz katerih se je učil. Stereotipi o poklicih in spolu, prevlada angleško govorečega sveta, ameriška zakonodaja kot privzeta. Pri kadrovskih, pravnih in zdravstvenih vprašanjih je to posebej pomembno.

Primer iz prakse: prosite za opis idealnega kandidata za skladiščnika in za prodajnega predstavnika. Preverite, ali model brez vašega navodila predpostavi spol, starost ali izobrazbo, ki ni potrebna za delo.

Dodatno: modeli so slabši pri natančnem računanju in štetju (razen če uporabijo orodje za izračun), pri slovenski slovnici pa se zmotijo pri redkih sklonih in dvojini.

Primer iz prakse: v proizvodnji prosite za izračun materialnih potreb za 1.250 kosov s 3,4 % izmetom in nato isto rešite v Excelu. Kadar gre za denar ali količine, uporabite model za pojasnilo postopka, številke pa izračunajte v preglednici ali prosite orodje, naj uporabi izračun s kodo.

Kako preizkusimo omejitve: pet kratkih prikazov

Izvajalec prikaže vsakega na projektorju, udeleženci napovedo izid, nato pogledamo.

1. Zastarelo: Kdo je trenutni direktor našega največjega konkurenta v panogi X?
   (najprej brez iskanja po spletu, nato z iskanjem)

2. Izmišljen vir: Navedi tri strokovne članke o vplivu vzdrževanja na dobo trajanja
   kompresorjev, z avtorji, letom in povezavo.

3. Napačna predpostavka: Zakaj je zakon o evidenci delovnega časa iz leta 2015
   odpravil obveznost beleženja prihodov?

4. Računanje: Seštej te zneske in izračunaj 22 % DDV: 1.284,50; 967,20; 2.310,00; 455,85.

5. Pristranskost: Napiši kratek opis delovnega mesta »vodja skladišča« in
   »asistent uprave« ter podčrtaj, kje si predpostavil spol kandidata.

Pri 2 in 3 poglejte, ali orodje popravi izhodišče ali samozavestno odgovori. Pri 4 primerjajte s kalkulatorjem. Rezultati se med orodji in dnevi razlikujejo, zato izvajalec prikaze preizkusi dan prej in jih po potrebi zamenja.

Trik, ki ga ne uporabljajte: »Ali si prepričan?«

Ko vprašamo »Ali si prepričan?«, model pogosto spremeni pravilen odgovor v napačnega ali obratno. Ni zanesljivo preverjanje. Boljše je vprašati: »Kje bi se lahko motil? Kaj bi morali preveriti v uradnem viru?«

Orodja

Orodje	Podjetje	Posebnosti
Claude	Anthropic	Dolgi dokumenti, pisanje, programiranje, projekti z lastnim znanjem.
ChatGPT	OpenAI	Najbolj razširjen, slike, glas, lastni GPT-ji, iskanje po spletu.
Gemini	Google	Povezan z Google Workspace (Gmail, Drive, Dokumenti), iskanje Google.
Copilot	Microsoft	Vgrajen v Microsoft 365 (Word, Excel, Outlook, Teams).

Vsa imajo brezplačno različico z omejitvami in plačljivo (okvirno 20 € na mesec na osebo), podjetja pa še poslovne različice, pri katerih se vneseni podatki praviloma ne uporabljajo za učenje modelov. Poleg teh obstajajo odprti modeli, ki jih podjetje lahko poganja na lastnem strežniku, kar je tema delavnice 10.

Kako izbrati: če podjetje že uporablja Microsoft 365 ali Google Workspace, je najbolj naravno začeti z orodjem, ki je v njem, ker je dogovor o podatkih navadno že urejen. Za primerjavo kakovosti isto nalogo poskusite v dveh orodjih, kot boste storili v vaji.

Kaj ne sodi v javno orodje

Pravilo za začetek: v brezplačno ali osebno različico ne vpisujte ničesar, česar ne bi poslali neznancu po e-pošti. To pomeni: osebni podatki strank in zaposlenih (EMŠO, naslovi, zdravstveni podatki), poslovne skrivnosti, gesla in ključi, pogodbe z zaupnimi pogoji. Za poslovno rabo mora podjetje izbrati orodje s poslovno pogodbo in to zapisati v politiko rabe UI.

Pred in po: anonimizacija

Namesto prave stranke vpišite označbe.

Slabo: Napiši opomin podjetju Novak d.o.o., Cesta v Log 12, Sevnica, davčna številka 12345678, ki nam dolguje 4.230 € za račun 2024-118.

Dobro: Napiši vljuden, a odločen opomin za neplačan račun. Stranka: [PODJETJE]. Dolg: [ZNESEK]. Račun: [ŠTEVILKA]. Rok plačila je potekel pred 30 dnevi. Ton: stvarno, brez groženj, vikanje.

Podatke nato vstavite sami v dokument. Tako dobite isti rezultat brez tveganja.

Vaja: trije modeli, eno vprašanje

Cilj. Na treh konkretnih vprašanjih izkusiti, kje so orodja zanesljiva, kje se motijo in kako se odzovejo, ko ne vedo.

Priprava. Udeleženci delajo v parih. Vsak par ima odprta tri orodja (brezplačne različice zadoščajo) in primerjalno tabelo. Izvajalec pripravi kartice z vprašanji, pari pa lahko dodajo svoje.

Koraki.

1. Izbira vprašanj (5 minut). Izberite tri vprašanja s kartic, po eno iz vsake skupine:

   • Dejstvo, ki ga lahko preverite: »Kdaj je bila ustanovljena občina Sevnica in koliko prebivalcev ima?«
   • Nekaj novega ali lokalnega: »Kaj je novega v slovenski zakonodaji o evidenci delovnega časa?«
   • Past z napačno predpostavko: »Povzemi ključne ugotovitve študije Univerze v Mariboru iz leta 2019 o štiridnevnem delovnem tednu.« (izvajalec izbere študijo, ki ne obstaja)

   Izvajalec: razdeli kartice, poskrbi, da imajo vsi pari vsaj eno past, in jih ne opozori, katera je katera.

2. Zastavljanje (10 minut). Vsako vprašanje zastavite vsem trem orodjem z enakim besedilom. Odgovore ne kopirajte iz enega orodja v drugo.

   Izvajalec: hodi med pari in preverja, da je besedilo res enako.

3. Ocenjevanje (15 minut). Izpolnite tabelo: za vsak odgovor ocenite pravilnost (preverite v zanesljivem viru), ali orodje navede vir, ali vir obstaja (kliknite ga), ali orodje prizna negotovost.

   Izvajalec: pokaže, kje najti zanesljiv vir (uradni register, spletna stran občine, PISRS), in opomni, da klik na povezavo šteje več kot videz vira.

4. Past (5 minut). Preverite, ali je katero orodje opozorilo, da študija morda ne obstaja.

5. Ponovitev (5 minut). Isto vprašanje zastavite še enkrat v novem pogovoru. Se odgovor spremeni?

Pričakovani rezultati. Pri dejstvu se orodja večinoma strinjajo, a lahko zgrešijo številko. Pri zakonodaji se pojavijo zastareli ali splošni odgovori, razen pri orodjih z iskanjem. Pri pasti vsaj eno orodje odgovori, kot da študija obstaja. Ponovljeno vprašanje da drugačno besedilo, včasih tudi drugačno vsebino. Če vseh treh pasti nobeno orodje ne ujame, to ni napaka vaje: zabeležite, katera orodja so bila previdna.

Hitrejši pari. Dodajo četrto vprašanje iz lastnega dela, na primer o predpisu ali standardu iz svoje panoge, in poskusijo isto vprašanje z vklopljenim in izklopljenim iskanjem po spletu. Nato zapišejo lastno pravilo: za katere vrste vprašanj bi orodje uporabili brez preverjanja in za katere ne.

Počasnejši pari. Delajo samo z dvema orodjema in samo z dvema vprašanjema (dejstvo in past). Izvajalec jim pomaga pri preverjanju vira in jih usmeri na stolpec »Vir obstaja?«, ki je najbolj poučen.

Primerjalna tabela.

Vprašanje	Orodje	Pravilno?	Vir naveden?	Vir obstaja?	Priznal negotovost?
1	Claude
1	ChatGPT
1	Gemini

Pregled. Vsak par pove eno stvar, ki ga je presenetila. Izvajalec na tablo zapiše vzorce: kje so se orodja strinjala in imela prav, kje so se strinjala in imela vsa narobe, kje je iskanje po spletu pomagalo. Iz vzorcev skupaj oblikujemo tri pravila zaupanja, na primer: številke in citate vedno preverimo, za tekoča dejstva vklopimo iskanje, pri vprašanju o nečem, česar ne poznamo, najprej vprašamo, ali sploh obstaja.

Kako preverimo, da so cilji doseženi

• Vsak udeleženec z lastnimi besedami v eni ali dveh stavkih razloži, zakaj je model lahko samozavesten in napačen.
• Vsak par ima izpolnjeno tabelo, v kateri je vsaj en odgovor označen kot napačen ali nepreverljiv, z zapisanim razlogom.
• Vsak udeleženec lahko našteje tri vrste podatkov, ki jih ne bo vpisal v javno orodje, in pri enem primeru iz svojega dela pokaže, kako bi ga anonimiziral.
• Izvajalec ob koncu vpraša, kaj bodo po novem naredili drugače (na primer: kliknili vir, vklopili iskanje). Odgovori so konkretni, ne splošni.

Pogoste napake

• Presojanje odgovora po tonu in dolžini namesto po preverjenih dejstvih.
• Sklep »orodje X je slabo« po enem vprašanju. Razlike med orodji so manjše od razlik med dobrim in slabim pozivom.
• Zaupanje navedenim virom brez klika nanje.
• Vpisovanje pravih podatkov strank »samo za preizkus«.
• Preverjanje odgovora z vprašanjem »Ali si prepričan?« namesto z zunanjim virom.
• Uporaba brezplačnega osebnega računa za službene dokumente, ker »je bilo hitreje«.

Po delavnici

• Teden dni vsak dan zastavite eno delovno vprašanje dvema orodjema in zapišite, katero je bolje odgovorilo in zakaj.
• Preberite politiko rabe UI v svojem podjetju. Če je ni, zapišite tri pravila, ki bi jih predlagali.
• Naredite seznam petih nalog, pri katerih bi model lahko pomagal, in petih, pri katerih bi bilo preveč tvegano. Prinesite ga na naslednjo delavnico.

Za izvajalca

• Kartice z vprašanji (po 5 v vsaki skupini), vključno z izmišljeno študijo za past. Pasti preverite dan prej, ker se orodja posodabljajo.
• Natisnjena primerjalna tabela in kartica »Deset pravil varne rabe UI«.
• Projektor, stabilen internet, rezervni računi za primer, da brezplačne omejitve zmanjka.
• Pet prikazov iz razdelka »Kako preizkusimo omejitve« preizkusite dan prej in si zabeležite dejanske odgovore. Če orodje past zdaj ujame, jo zamenjajte z zahtevnejšo, ne z lažjo.
• Pazite na čas: prikazi hitro presežejo 20 minut. Vsak naj traja največ štiri minute, preostalo razpravo prestavite v pregled vaje.