Zasebni jezikovni model na lastnem strežniku: modeli, postavitev in dejanski stroški

Podjetje pokliče in vpraša: ali lahko jezikovni model poganjamo sami, na svojem strežniku, da pogodbe, odpustnice ali zahtevki strank nikoli ne zapustijo hiše? In koliko to v resnici stane?

Kratek odgovor: da, in za večino ozkih nalog zadošča majhen model. Model velikosti 4B do 12B, naučen na vaših primerih, opravi izvleček podatkov, razvrščanje, odgovore podpori in klicanje orodij. Večjega (27B do 35B) potrebujete, ko so vprašanja odprta, dokumenti dolgi in neurejeni ali mora model združiti več virov. Naprava je redko najdražji del. Dražji so podatki, evalvacija in to, da model ostane aktualen.

Kako velik model potrebujete?

Začnite pri nalogi, ne pri modelu.

Velikost modela	Kje teče	Oblika	Tipične naloge
4B	prenosnik ali običajna delovna postaja	GGUF Q4–Q8	usmerjanje prejete pošte, razvrščanje, izvleček v stalna polja, delo na terenu brez povezave
8B–12B	delovna postaja ali manjši strežnik	GGUF ali vLLM	odgovori podpori z vašo terminologijo, povzetki, klicanje nekaj orodij
27B–35B	delovna postaja ali strežnik	GGUF ali vLLM	dolgi dokumenti, širša vprašanja, agenti z veliko orodji, slike na vhodu

Naš Sokol 4B teče na prenosniku, razume slike in kliče orodja; v opisu modela so navedene različice GGUF. Naš najmočnejši, Sraka 27B, doseže na Slovenian-LLM-Eval 0,871 proti 0,844 za svojo osnovo, a je poskusen in samo za nekomercialno rabo. Za vaše delo naučimo model na vaših podatkih. Javni modeli pokažejo, kaj naredi postopek, ne tega, kar boste poganjali vi.

Q8 ostane bližje izvirnim utežem, Q4 je manjši in hitrejši ter nekaj izgubi. Koliko izgubi pri vaši nalogi, izmerimo na vašem zamrznjenem naboru, ne ugibamo.

Zakaj tu ni tabele pomnilnika in hitrosti

Ker bi vas zavedla. Poraba pomnilnika in število odgovorov na sekundo sta odvisna od dolžine konteksta, od tega, koliko ljudi model uporablja hkrati, in od kvantizacije. Številka iz tujega merjenja pove malo o vaši obremenitvi. Med preizkusom jo izmerimo na vaši nalogi in zapišemo, kakšno opremo potrebujete, če sploh katero. Včasih za majhen model zadošča naprava, ki jo že imate.

vLLM ali llama.cpp/GGUF: kdaj kaj

• GGUF z llama.cpp ali LM Studio. Ena datoteka, preprosta namestitev, teče na prenosniku ali eni delovni postaji. Primerno za peščico uporabnikov, delo brez povezave in pilote.
• vLLM. Namenjen strežnikom: veliko ljudi hkrati, združevanje zahtevkov, API, združljiv z OpenAI, ki ga obstoječa orodja znajo klicati. Standard za oddelek ali storitev za stranke.

Grobo pravilo: nekaj hkratnih uporabnikov, GGUF. Cel oddelek ali vaše stranke, vLLM. Oboje dostavimo iz istih uteži, zato kasnejši prehod ne pomeni ponovnega učenja.

Izolirano okolje: kaj se spremeni, ko strežnik nima omrežja

Nekateri naročniki želijo napravo, ki se omrežja nikoli ne dotakne. Učimo lahko na vaši izolirani opremi, dostavimo na disku, model pa teče v omrežju brez zunanje povezave. Za tri stvari potem potrebujete načrt.

Posodobitve. pip install ne obstaja. Vse pride na disku: uteži, izvajalno okolje, odvisnosti in kontrolne vsote. Dogovorite se za ritem, na primer mesečno ali četrtletno. Pred vsako posodobitvijo poženite zamrznjeni evalvacijski nabor na novi različici in jo uvedite samo, če se nič ni poslabšalo.

Varnostne kopije uteži. Uteži so datoteke. Hranite vsako različico z zgoščeno vrednostjo, poleg različice nabora podatkov in evalvacijskega nabora, na katerem je bila izmerjena. Dve kopiji, ena drugje. Vrnitev na prejšnjo različico je potem zamenjava datoteke.

Beleženje. Pred zagonom se odločite, kaj beležite: različico modela, čas, uporabnika, vhod in izhod ali le njihove zgoščene vrednosti, ko je vsebina občutljiva. Tudi dnevniki so osebni podatki, zato določite, kdo jih sme brati in kako dolgo jih hranite.

GDPR in Akt o UI: kaj lastni strežnik reši in česa ne

Kaj reši. Podatki se ne prenašajo v tretjo državo in ni tujega podobdelovalca, ki bi ga moral utemeljiti vaš pooblaščenec za varstvo podatkov. Pri zdravstvenih podatkih, bančni tajnosti ali poslovnih skrivnostih lahko "podatki niso odšli" preverite, ne le obljubite.

Česa ne reši.

• GDPR velja v celoti: pravna podlaga, namen, najmanjši obseg, hramba, pravice posameznikov in ocena učinka, kjer je tveganje veliko. Osebni podatki, na katerih učite, lahko ostanejo v utežeh, zato pred učenjem anonimiziramo ali psevdonimiziramo.
• Aktu o UI je vseeno, kje stoji strežnik. Vaša vloga in razred tveganja sta odvisna od namena uporabe. Pismenost na področju UI (člen 4) in razkritje pri klepetalnikih (člen 50) veljata enako. Če sistem daste v uporabo pod svojim imenom, ste lahko njegov ponudnik, mi smo dobavitelj. Več v zapisu o tem, kaj mora podjetje narediti do 2. decembra 2026.
• Lastni strežnik ni zakonska obveznost. Za običajne osebne podatke je ponudnik v EU s pogodbo o obdelavi zakonita izbira.

To ni pravni nasvet. Za svoj primer vprašajte pooblaščenca ali odvetnika.

Kaskada: kdaj podatki vseeno zapustijo hišo

Večina zahtevkov gre na vaš majhen lokalni model. Ko ta ni prepričan, je oblika neznana ali je vprašanje zunaj njegovega področja, lahko zahtevek prek API-ja gre na velik model. Takrat podatki zapustijo hišo, zato to najprej določite na papirju:

• katere vrste podatkov nikoli ne smejo na rezervni model;
• ali pred pošiljanjem psevdonimizirate in imena po vrnitvi obnovite;
• da je vsak klic rezervnega modela zabeležen in preštet.

Delež klicev na rezervni model je koristen sam po sebi: pokaže, kje majhen model potrebuje več primerov. Klice velikih modelov prek API-ja zaračunamo po lastni ceni. Če podatki ne smejo oditi nikamor, rezervnega modela ni in primer gre k človeku.

Kdaj je oblak v EU boljša izbira

Lastni strežnik ni vedno pravi odgovor. Storitev v EU je navadno boljša, ko:

• je obseg majhen. Pri nekaj sto klicih na mesec je API pogosto cenejši od lastne naprave;
• v podjetju nihče ne želi vzdrževati strežnika;
• obremenitev prihaja v sunkih;
• gre za običajne osebne podatke in zadošča pogodba o obdelavi;
• potrebujete velik splošen model za široka vprašanja, ne za ozko nalogo.

Vaš naučeni model lahko gostimo tudi mi v EU, od 600 € na mesec. Uteži ostanejo vaše in jih lahko kasneje prenesete k sebi.

Koliko stane

Cene iz našega javnega cenika, v EUR, brez DDV:

Kaj	Cena
Enodnevna evalvacija na vaših dokumentih	1.900 €, upoštevano pri pilotu
Enotedenski preizkus pod NDA	obračunano kot Pilot S (3.900 €), upoštevano
Pilot M, ko je podatke treba zgraditi	12.000 €, 4–5 tednov
Celoten program	od 20.000 €
Mesečna naročnina (ponovno učenje, ponovna evalvacija)	od 1.200 €
Dan pri vas (namestitev, izolirana predaja)	1.500 € + potni stroški

Strojno opremo kupite sami, pri komer želite. Mi je ne preprodajamo.

Kdaj nas ne kličite. Če nekaj ljudi potrebuje splošnega pomočnika za pisanje e-pošte, je poslovna naročnina na velik model preprostejša. Če nimate naloge, ki se ponavlja in ima primere, jih najprej zberite petdeset. Potem lahko kaj izmerimo.

Enotedenski preizkus pod NDA

Izberete petdeset anonimiziranih primerov in eno nalogo. V enem tednu dobite model, ki teče na vašem strežniku, številke pred in po učenju ter pisno priporočilo. Če rezultat ni dober, se tam ustavimo.

Pogosta vprašanja

Ali zasebni jezikovni model deluje popolnoma brez interneta? Da. Vse, kar dostavimo, deluje z izklopljenim omrežnim kablom. Posodobitve pridejo na disku.

Kako velik model potrebuje podjetje? Za ozke naloge model 4B do 12B, naučen na vaših primerih. 27B do 35B za odprta vprašanja, dolge dokumente ali agente z veliko orodji.

Ali GDPR zahteva model na lastnem strežniku? Ne. Za običajne osebne podatke je ponudnik v EU s pogodbo o obdelavi zakonit. Lastni strežnik je najpomembnejši pri zdravstvenih podatkih, bančni tajnosti in poslovnih skrivnostih.

GGUF ali vLLM? GGUF za nekaj uporabnikov, prenosnike in delo brez povezave. vLLM za strežnike z veliko hkratnimi uporabniki.

Koliko stane začetek? Enodnevna evalvacija stane 1.900 €. Enotedenski preizkus je obračunan kot Pilot S (3.900 €). Oboje upoštevamo pri nadaljevanju.