Lasten fino uglašen model ali API: kje je točka preloma?

Najprej: ali smejo podatki k ponudniku API?

Veliko naših pogovorov se ne začne pri računu. Začne se pri podatkih, ki ne smejo iz podjetja:

• zdravstveni podatki, bančna tajnost, poslovne skrivnosti, spisi;
• pooblaščena oseba za varstvo podatkov, ki ne bo odobrila še enega tujega podobdelovalca;
• delo v omrežju brez povezave navzven.

Takrat primerjava ni »API ali lasten model«, ampak »lasten model ali nobenega«. V kalkulatorju to nastavite na vrhu, pod »Vaši podatki«: pot prek API se izklopi, kaskada gre na nič in težki primeri gredo k človeku. Če podatki ne smejo niti k nam, ostane samo vaša strojna oprema. GDPR modela na lastnem strežniku ne zahteva; za običajne osebne podatke je ponudnik v EU s pogodbo o obdelavi zakonit. Več v zapisu zasebni jezikovni model na lastnem strežniku.

Drugi razlog je vedenje. Manjši model, učen na vaših primerih, lahko strogo obliko izhoda ali vašo terminologijo upošteva zanesljiveje kot poziv. Ali jo na vaši nalogi res, se izmeri, ne predpostavi.

Kako kalkulator računa

En zahtevek na API stane vhodne žetone krat vhodna cena in izhodne žetone krat izhodna cena. Pomnožite s številom zahtevkov na mesec in imate pot z API.

Pot z lastnim modelom ima tri dele:

• Fiksni mesečni strošek: naše gostovanje v EU ali vaša strojna oprema, razdeljena na obdobje amortizacije, z elektriko, in vzdrževanje modela, če ga izberete.
• Kaskada: delež zahtevkov, ki še vedno gre na velik API. Te plačujete naprej.
• Popravki: delež odgovorov, ki jih mora človek popraviti, krat minute na popravek krat urna postavka. Na API ta delež ostane enak, ker model vaših popravkov ne vidi. Pri lastnem modelu ga pilot enkrat zmanjša, vsak cikel ponovnega učenja ob vzdrževanju pa še zmanjša preostanek, nikoli pod 30 % današnjega deleža. Če popravkov ne želite šteti, jih izklopite.
• Začetek: Pilot S, Pilot M ali program, plačan enkrat.

Točka preloma je mesec, v katerem je seštevek stroškov obeh poti enak. Kalkulator pokaže še dva obsega: pri katerem se izenačita mesečna stroška in koliko zahtevkov potrebujete, da se začetek povrne v enem letu. Drugo število je običajno tisto poštenejše.

Primer z javnimi ceniki

Privzete vrednosti: 80.000 zahtevkov na mesec, 1.500 vhodnih in 400 izhodnih žetonov, Claude Opus 5.5 po 4 in 20 USD za milijon žetonov. Mesec stane 1.120 USD, kar je po tečaju ECB 1,1298 približno 991 €.

Če model teče na delovni postaji, ki jo že imate, stane okoli 30 € elektrike na mesec. Skupaj z 10 %, ki gredo še na Claude Opus 5.5, je to približno 129 € na mesec, prihranek pa 862 €. Pilot S (3.200 €) se povrne v 4. mesecu, v 24 mesecih pa plačate približno 6.300 € namesto 23.800 €.

V našem gostovanju v EU za 600 € na mesec stane lasten model okoli 699 € na mesec in Pilot S se povrne v 11. mesecu. Z vzdrževanjem Lite za 690 € na mesec na lastni napravi se Pilot S samo s prihrankom pri žetonih povrne v 19. mesecu, s popravki (2 % odgovorov) pa v 4. mesecu: vzdrževanje upravičijo manj popravkov, nove naloge in boljša osnova, ne račun za API.

Cenejši API mejo dvigne. Pri Claude Sonnet 5.5 (2 in 10 USD) isti promet stane okoli 496 € na mesec: na lastni napravi se Pilot S povrne v 8. mesecu, v našem gostovanju šele po dveh letih. Privzeti izračun upošteva tudi popravke (2 % odgovorov, 3 minute, 25 € na uro), zgornji zneski pa so brez njih.

Pri računu za nekaj deset evrov ostanite pri API

To je preprost zaključek. 20.000 zahtevkov na mesec na Claude Sonnet 5.5 stane okoli 124 €. Tudi na napravi, ki jo že imate, je prihranek okoli 80 € na mesec in Pilot S se povrne šele po dveh letih. Lasten model ima takrat smisel predvsem zaradi podatkov ali oblike odgovora, ne zaradi cene.

Prenosnik je za model 4B resnična možnost. Naš Sokol 4B teče na njem, bere slike in kliče orodja. Delovna postaja z eno grafično kartico, tudi starejša, danes poganja kvantiziran model 27B, na primer našo Srako 27B. Ali zmore vaš promet, ni odvisno samo od velikosti modela, ampak od tega, koliko zahtevkov mora streči hkrati: peščici ljudi taka naprava zadošča, stalnemu prometu strank običajno ne.

Česa kalkulator ne upošteva

• Popusti pri API. Predpomnjenje pozivov in paketna obdelava znižata račun; Anthropic za paketno obdelavo navaja 50 % popusta. Če ju uporabljate, vpišite nižje cene.
• Število žetonov se razlikuje po modelih. Isto besedilo da pri različnih modelih različno število žetonov. Vzemite števila iz svojega poročila o porabi API.
• Čas vaše ekipe. Za napravo v vaši lasti mora nekdo skrbeti. Pri našem gostovanju je to vključeno.
• Kakovost. Izračun predpostavlja, da je majhen model dovolj dober. Včasih ni, in takrat naloga ostane pri velikem modelu.

Koliko stane naš del

• Evalvacija, 1.900 €, en dan. Do pet modelov na zamrznjenem naboru iz vaših primerov, tabela rezultatov in zapisano priporočilo. Odšteje se od pilota. Primer poročila.
• Pilot S, 3.200 €, 2–3 tedne. En fino uglašen model na podatkih, ki jih že imate, lestvica osnova proti uglašenemu, gradnja GGUF.
• Pilot M, 9.000 €, 4–5 tednov. Ko podatke zgradimo mi.
• Programi od 15.000 €. Vzdrževanje z učenjem od 690 € na mesec; Nadzor brez učenja 190 € na mesec in cikel učenja po potrebi 1.490 €.

Vse cene v EUR brez DDV, na ceniku. Če niste prepričani, ali so podatki pripravljeni, najprej odgovorite na 12 vprašanj o podatkih.