Zasebni AI za podjetja: lasten LLM na vašem strežniku.

RAG ali fine-tuning: kaj izbrati

RAG in fine-tuning rešujeta različna problema. RAG modelu ob vsakem vprašanju da prave odlomke iz vaših dokumentov, fine-tuning pa spremeni, kako model piše. Za znanje podjetja, ki se sproti spreminja, je skoraj vedno pravi začetek RAG.

Kateri odprti modeli pridejo v poštev

Zasebni LLM temelji na odprtem modelu, katerega uteži lahko prenesete in poganjate na lastni strojni opremi. Licence se med družinami razlikujejo, zato jih za vsak primer uporabe preverimo na kartici modela.

Pošteno: lokalni model ni pri vsaki nalogi enako dober kot največji modeli v oblaku. Kako velika je razlika, je odvisno od naloge, zato jo pilot izmeri na vaših vprašanjih, preden se odločite za produkcijo.

Kaj vam ne obljubimo

• ✦Da bo lokalni model pri vsaki nalogi enako dober kot največji modeli v oblaku, na primer Claude Opus ali GPT. Pilot razliko izmeri na vaših vprašanjih.
• ✦Da je lokalna postavitev sama po sebi skladna z GDPR. Odpravi prenos dokumentov k zunanjemu ponudniku modela, pravno podlago, pravice dostopa in roke hrambe pa je treba urediti posebej. Več v članku Akt o umetni inteligenci za podjetja.
• ✦Odgovorov brez napak. Jezikovni model se lahko zmoti, zato vsak odgovor nosi vire, ki jih preverite z enim klikom.

Pogosta vprašanja o zasebnem AI

• Kaj je zasebni AI (zasebni LLM) za podjetja?

  Zasebni AI je jezikovni model (LLM), ki ga podjetje poganja na lastni strojni opremi namesto v oblaku zunanjega ponudnika. Model je prek iskanja RAG povezan z dokumenti podjetja, zato odgovarja iz pogodb, navodil in arhiva podjetja in ob odgovoru navede vir. Zaposleni ga uporabljajo kot klepetalnik, podatki pa ostanejo na strežniku podjetja.

• Kje teče model in ali podatki res ne zapustijo podjetja?

  Model, iskalni indeks in dokumenti tečejo na strežniku naročnika, v njegovih prostorih ali v njegovem zasebnem okolju. Postavljen sistem za odgovarjanje ne potrebuje povezave z zunanjim ponudnikom modela, zato vprašanja in dokumenti ne gredo v tuj oblak. Dostop do strežnika in posodobitve uredimo po varnostnih pravilih naročnika.

• Kakšno strojno opremo potrebujemo?

  To je odvisno od velikosti modela in števila hkratnih uporabnikov. Manjši modeli za interno iskanje lahko tečejo na obstoječem strežniku z grafično kartico, za večje modele in več uporabnikov pa pride v poštev namizni AI računalnik ali namenski GPU strežnik, ki po naši okvirni oceni stane 8.000–40.000 €. Strojno opremo kupi naročnik; Flisko jo dimenzionira in je ne preprodaja.

• RAG ali fine-tuning: kaj od tega potrebujemo?

  Za večino podjetij je pravi začetek RAG: model ob vsakem vprašanju poišče ustrezne odlomke v dokumentih in odgovori z navedbo vira, nove dokumente pa doda ponovno indeksiranje brez učenja modela. Fine-tuning spremeni sam model, zato je smiseln, ko mora model prevzeti ton, obliko ali strokovni jezik podjetja, za sveža dejstva pa ni primeren. Pogosto je najboljša kombinacija obeh: fine-tuning za slog in RAG za vsebino.

• Kateri odprti modeli pridejo v poštev in kako dobro znajo slovensko?

  V poštev pridejo odprti modeli družin Llama, Mistral, Qwen in Gemma, ki jih je mogoče poganjati lokalno; vsak ima svojo licenco, ki jo za konkretno uporabo preverimo na kartici modela. Kakovost v slovenščini se med modeli in velikostmi občutno razlikuje. Zato jo na pilotu izmerimo na naboru resničnih vprašanj naročnika in modele primerjamo med seboj.

• Koliko stane zasebni LLM za podjetje v Sloveniji? Cenik 2026

  Pilot na enem sklopu dokumentov stane od 2.900 € (enkratno) in je končan v 2–3 tednih. Produkcijska postavitev "Znanje podjetja" stane 6.000–15.000 €, fine-tuning 4.000–12.000 €, podpora s posodobitvami in nadzorom pa 290–790 € na mesec; strojno opremo naročnik kupi posebej. Cene so končne, ker nismo zavezanci za DDV.

• Koliko časa traja do delujočega pilota?

  Po 30-minutnem uvodnem klicu v enem tednu pripravimo analizo in izberemo sklop dokumentov, pilot pa je končan v 2–3 tednih. Na koncu imate delujoč sistem na enem sklopu dokumentov, oceno na svojih resničnih vprašanjih in pisno priporočilo za nadaljevanje. Produkcijska postavitev nato traja 4–8 tednov.

• Ali je lokalni model samodejno skladen z GDPR in z aktom o umetni inteligenci?

  Ne, ne samodejno. Lokalna postavitev odpravi pomemben del tveganja, ker vprašanja in dokumenti ne gredo k zunanjemu ponudniku modela, ne nadomesti pa pravne podlage za obdelavo, pravic dostopa, rokov hrambe in obveščanja zaposlenih in strank. Te elemente zasnujemo skupaj z vašo odgovorno osebo za varstvo podatkov; obveznosti po aktu o umetni inteligenci za mala in srednja podjetja so opisane v članku na blogu Flisko.

• Kdo v Sloveniji postavi zasebni LLM z RAG?

  Zasebni LLM z RAG v Sloveniji postavi Flisko (Informacijske storitve, Žiga Flis s.p.) iz Gorice pri Slivnici. Model teče na strežniku naročnika, pilot na enem sklopu dokumentov pa stane od 2.900 € in je končan v 2–3 tednih. Delamo za podjetja po vsej Sloveniji ter za naročnike na Hrvaškem in v Avstriji.

Obveznosti po aktu o umetni inteligenci podrobneje: Akt o umetni inteligenci za podjetja.

Viri

1. NVIDIA: DGX Spark: pomnilnik 128 GB ali 64 GB, do 1 petaFLOP pri FP4, sklepanje z modeli do 200 milijard parametrov, fine-tuning do 70 milijard
2. Hugging Face: cjvt/GaMS3-12B-Instruct: razvijalec, osnovni model Gemma 3 12B, licenca Gemma, ciljni jeziki
3. Hugging Face: Meta Llama: licenčni pogoji in pravilnik o rabi na kartici vsakega modela
4. Hugging Face: Mistral AI: modeli z odprtimi utežmi
5. Hugging Face: Qwen: družina jezikovnih modelov, ki jo razvija Alibaba Cloud
6. Hugging Face: Google: Gemma, družina lahkih odprtih modelov
7. codeformers.it: RAG Pipeline Cost Estimator: izgradnja osnovnega RAG 2.000–5.000 €, naprednega 5.000–15.000 €
8. ignitionai.fr: How much does an enterprise RAG project cost in 2026?: prototip 25.000–60.000 €, produkcijska uvedba 80.000–250.000 €
9. stratagem-systems.com: LLM Fine-Tuning Business Guide: fine-tuning z LoRA 2.000–25.000 USD

Pošljite povpraševanje.

Napišite, katere dokumente bi radi spraševali in koliko ljudi bi sistem uporabljalo. V 24 urah odgovorimo s predlogom za pilot ali s poštenim odgovorom, da se vam (še) ne splača.