Zajem podatkov iz računov in pogodb z UI na lastnem strežniku: kdaj zadošča SaaS in kdaj potrebujete svoj model
Kdaj za prejete račune zadošča SaaS, kdaj pogodbe in občutljivi dokumenti zahtevajo lasten model, kako meriti točnost po poljih in kako začeti.
Finančna služba, računovodski servis ali notranja pravna služba nas vpraša isto: ali lahko model prebere naše prejete račune in pogodbe, prenese polja v naš sistem in to naredi, ne da bi dokumenti zapustili naš strežnik? In ali za to potrebujemo svoj model ali zadošča naročnina?
Kratek odgovor: za standardne prejete račune, ki gredo naravnost v računovodstvo, je storitev SaaS navadno cenejša in hitreje začne delati, zato jo uporabite. Lasten model je smiseln, ko dokumenti niso standardni (pogodbe, aneksi, dobavnice, slabi skeni), ko vsebujejo osebne podatke ali poslovne skrivnosti, ki ne smejo iz hiše, ali ko morate po posameznih poljih vedeti, kako pogosto je zajem pravilen. Takrat najprej merimo in učimo samo tam, kjer meritev pokaže, da se splača.
Za standardne račune je SaaS navadno prava izbira
Bodimo pošteni do druge strani. Storitve za prejete račune, v Sloveniji na primer Kontiqo ali Račun123, so narejene predvsem za račune, vrsto dokumenta, ki je povsod približno enaka: dobavitelj, davčna številka, številka računa, datumi, zneski, DDV, IBAN, sklic. Začnejo delati na dan prijave, namesto projekta pa plačujete mesečno naročnino. Preden se odločite, preverite dvoje: ali se povežejo z računovodskim programom, ki ga uporabljate, in kje obdelujejo vaše dokumente.
Pomemben je tudi datum. Po Zakonu o izmenjavi elektronskih računov in drugih elektronskih dokumentov (ZIERDED) je izmenjava e-računov med podjetji obvezna od 1. januarja 2028 (povzetek PwC). Strukturiranega e-računa v eSLOG ali drugi sintaksi po EN 16931 ni treba brati z nobenim modelom, polja so že v XML. Branje ostane koristno za račune potrošnikom in od tujih dobaviteljev, ki lahko še pridejo na papirju ali v PDF, arhiv preteklih let in za vse, kar ni račun.
Kdaj je smiseln lasten model
- Pogodbe in drugi nestandardni dokumenti. Pogodba nima stalnih polj. Stranke, trajanje, odpovedni rok, samodejno podaljšanje, omejitev odgovornosti, pogodbene kazni, pravo, ki velja: vsak podatek je lahko kjerkoli, v poljubni ubeseditvi, včasih v aneksu. Storitev, narejena za račune, ne ve, kaj iščete. Model, naučen na vaših primerih, ve.
- Dokumenti, ki ne smejo iz hiše. Pogodbe o zaposlitvi, najemne pogodbe z zasebniki, računi, ki razkrivajo zdravstvene podatke, dokumenti s poslovnimi skrivnostmi. Če mora obdelava ostati na vašem strežniku, SaaS v tujem oblaku odpade, pa naj bo še tako dober.
- Javni sektor. Veliko javnih organov ima notranja pravila, kje se dokumenti smejo obdelovati, in mora pokazati, da jih upošteva. Z modelom na lastnem strežniku lahko "dokumenti niso odšli" preverite v omrežju, namesto da je to le obljuba v pogodbi.
- Vaša polja in vaša pravila. Stroškovno mesto iz besedila naročila, šifra projekta iz opisa, "ali ta pogodba odstopa od naše predloge". To so odločitve, ne OCR. Na strani odločitveni modeli sta prejeti računi (plačaj, zadrži, eskaliraj) in pregled pogodb (tveganje člena od 1 do 5) dve taki shemi.
Merjenje: točnost po poljih, ne "95 %"
"95-odstotna točnost" ponudnika pove malo, dokler ne veste, kaj je bilo šteto. Znaki? Polja? Celi dokumenti? Čigavi dokumenti?
Merimo na zamrznjenem naboru vaših dokumentov, z odgovori, kot bi jih dali vaši ljudje, ločeno od vsega, na čemer se model uči. Poročilo ima eno vrstico za vsako polje, vsako polje pa svoje pravilo, kdaj je pravilno:
| Polje | Šteje kot pravilno, ko |
|---|---|
| Številka računa, davčna številka, IBAN | se ujema natančno, brez presledkov |
| Datumi | gre za isti dan, ne glede na zapis |
| Zneski | je vrednost enaka na cent |
| Dobavitelj, stranke pogodbe | je prava pravna oseba, ne le podobno besedilo |
| Pogodbeni pogoji (odpoved, podaljšanje, omejitev) | je vrednost prava, skupaj s členom, iz katerega izhaja |
Potem eno število odloči, koliko dela ostane ljudem: delež dokumentov, pri katerih so pravilna vsa polja. Je nižji, kot nakazuje točnost po poljih. Preprosta aritmetika: če je vsako od desetih polj pravilno v 98 % primerov in so napake neodvisne, je vseh deset pravilnih v približno 82 % dokumentov (0,98¹⁰ ≈ 0,82). Poročilo pokaže vsako polje posebej, z napačnimi primeri, navedenimi dobesedno, da vidite, katero polje polni vrsto za pregled.
Javne številke za zajem podatkov tu nimamo in si je ne bomo izmislili. Nabori, ki jih zgradimo, nastanejo iz dokumentov naročnika in ostanejo pri njem. Javno lahko pokažemo isti način merjenja pri drugi nalogi: naš fino uglašeni model za razpoznavanje slovenskega govora ima 21,7 % napačnih besed na ločenem naboru parlamentarnega govora in 23,4 % čez več področij, izmerjeno na stalnih javnih naborih (kartica modela). Obliko poročila pokaže naše vzorčno poročilo evalvacije.
Arhitektura: OCR, tipiziran izhod, prag, človek
- Besedilo in postavitev. Če ima PDF besedilni sloj, uporabimo njega. Skeni gredo skozi OCR s postavitvijo strani, da tabele, žigi in noge ostanejo na svojem mestu.
- Zajem po shemi. Model vrne JSON po stalni shemi: imena polj, tipi, dovoljene vrednosti. Prostega besedila, ki bi ga naslednji sistem moral ugibati, ni.
- Preverjanja v kodi, ne v modelu. Kontrolne števke IBAN in davčne številke, postavke se seštejejo v skupni znesek, osnova in DDV dasta znesek z DDV, datumi v smiselnem obdobju. Če preverjanje ne uspe, gre dokument v pregled, ne glede na to, kako prepričan je bil model.
- Prag zaupanja za vsako polje. Nad pragom polje gre skozi. Pod njim ga oseba potrdi ali popravi. Prag določimo iz izmerjene točnosti na vašem naboru, skupaj z lastnikom procesa.
- Človeški pregled, ki se vrača v model. Popravki postanejo učni primeri za naslednjo različico. Vsako novo različico primerjamo s prejšnjo na istem zamrznjenem naboru, preden jo zamenja.
Anonimizacija, preden gredo podatki naprej
Zajem je pogosto prvi korak, ne zadnji. Podatki iz pogodb gredo v velik zunanji model za povzetek, postavke računov v orodje za analitiko, primeri v učenje. Pred tem lahko osebne podatke zamenjamo z nadomestki in jih pozneje obnovimo. Da to dobro deluje v slovenščini, kjer se imena sklanjajo, je naloga zase; kako jo merimo, smo opisali v zapisu o anonimizaciji dokumentov z lokalnim modelom. Enako obravnavamo učne podatke, ker lahko to, na čemer se model uči, ostane v njegovih utežeh.
Kako začnemo
Aktualne cene so v našem ceniku.
| Korak | Kaj dobite |
|---|---|
| Enodnevna evalvacija | petdeset vaših dokumentov z zlatimi odgovori, zamrznjen nabor, točnost po poljih za do pet modelov, pisno priporočilo |
| Pilot S | ena vrsta dokumentov od začetka do konca: shema, učenje na podatkih, ki jih že imate, pragovi, namestitev, 2–3 tedne |
| Pilot M | ko je oznake treba najprej zgraditi, 4–5 tednov |
| Mesečno vzdrževanje | mesečna ponovna meritev na zamrznjenem naboru; ponovno učenje, ko se splača, obračunano na cikel |
| Gostovanje v EU, če ne na vašem strežniku | vaš model, vaše uteži |
Kako se poti primerjata skozi čas:
| SaaS | Lasten model | |
|---|---|---|
| Na začetku | odvisno od ponudnika, pogosto malo ali nič | pilot s fiksno ceno, enkrat |
| Vsak mesec | naročnina, pogosto po številu dokumentov | vzdrževanje, ponovno učenje na cikel, ko se splača, in gostovanje, če model ni na vašem strežniku |
| Prelomna točka | cena pilota ÷ (mesečna naročnina SaaS − vaš mesečni strošek modela) |
Če SaaS na mesec stane manj kot lasten model, se model po ceni nikoli ne povrne. Takrat so razlogi zanj pogodbe, zasebnost ali nadzor, in odločite se na podlagi teh, ne preglednice. Če primerjate z vmesnikom API velikega modela namesto s SaaS, vam kalkulator lasten model ali API izračuna prelomno točko za vaš obseg.
Kdaj nas ne potrebujete
- Domači računi, ki že prihajajo kot e-računi. Uvozite XML, brati ga ni treba nikomur.
- Standardni računi, SaaS, ki deluje, in nič občutljivega v njih. Ostanite pri njem.
- Nekaj deset pogodb na leto, ki jih pravnik tako ali tako prebere v celoti.
- Nimate primerov pravilnega rezultata. Najprej jih zberite petdeset; brez njih ni česa meriti.
Pogosta vprašanja
Ali je za branje računov boljši SaaS ali lasten model? Za standardne prejete račune, ki gredo v računovodstvo, navadno SaaS: je cenejši in začne delati isti dan. Lasten model je smiseln za pogodbe, nestandardne dokumente in dokumente, ki morajo ostati na vašem strežniku.
Kako naj se meri točnost zajema podatkov? Po poljih, na zamrznjenem naboru vaših dokumentov, in z deležem dokumentov, pri katerih so pravilna vsa polja. En sam odstotek brez pojasnila, kaj je bilo šteto, ni meritev.
Ali bomo branje računov potrebovali tudi, ko bodo e-računi leta 2028 obvezni? Za domače račune med podjetji manj, ker e-račun polja že nosi v XML. Ostane koristno za tuje dobavitelje, papir, arhiv preteklih let in pogodbe.
Ali lahko zajem teče, ne da bi dokumenti zapustili naš strežnik? Da. Predamo uteži, model pa teče na vašem strežniku, tudi brez internetne povezave.
Koliko stane, da izvemo, ali deluje na naših dokumentih? Začne se z enodnevno evalvacijo na petdesetih vaših primerih, ki jo upoštevamo pri pilotu. Aktualne cene so v ceniku.