Odprtokodni dostop do modelov umetne inteligence je kot objavljen recept

22 julija, 2026 By in gospodarstvo 3 komentarji

To je najboljši opis, kar sem jih zasledil, razlike med zaprtim (ameriškim zasebnim) in odprtokodnim (kitajski zasebni) dostopom do modelov umetne inteligence.

Many people still confuse Chinese model with Chinese inference:

– A model is like a recipe for a dish—e.g. orange chicken

– Claude keeps its recipe secret, charges the dish $50. You must eat in front of Dario and he will watch you the entire time. You can’t change the ingredients or cook it privately.

– Now China releases a free recipe that tastes just as good. You can use American chicken and cook it in your own kitchen (self-hosting), or have a U.S. cloud like AWS or Nebius cook it and pay $2-5.

– Chinese inference is DoorDashing the finished dish from Beijing. Your order and data go there, and you must eat Beijing chicken. It’s fair to worry about the safety of their ingredients.

– Regulate the kitchen, ingredients, and data. Don’t ban the recipe.

En odgovor

  1. Problem je, da nimaš dovolj velike kuhinje. Tudi mnogi zahodni modeli kot so llama, cgpt, mistral, gemma … so odprtokodni (v resnici je Anthropic edini, ki vztraja pri zaprtosti svojih modelov) Testiraš jih lahko preko sistema ollama. Toda na običajnem PCju so omejeno uporabni, ker nimaš dovolj sistemskih sredstev. Sam sem lokalno testiral modele qwen, deepseek (kitajska), pa tudi mistral (EU) in gemma (google). Učinkovito delujejo le 9b modeli, večji so prepočasni. Toda tudi manjši modeli napredujejo. Gemma je trenutno zame najbolj uporaben in sicer za povzetke in analize besedil v angleščini. Lokalni modeli imajo zelo skromno znanje slovenščine. Razumejo a slabo pišejo.

    Liked by 1 person

  2. Najbolj poznan primer uporabe odprtokodnih LLM modelov je t.i. self-hosting: naložiš model na svoj računalnik in ga uporabljaš.
    Potem sta pa še dve možnosti, za Kimi K3 bolj aktualni:

    1) če Kimi K3 presega individualni proračun glede strojne opreme, pa temu ni tako za podjetja. Podjetje lahko enostavno izračuno, kdaj se jim to stroškovno splača – odvsino od količine uporabe. Bolj pogosto pa se podjetje odloči za to iz naslednjih razlogov:
    a) neodvisnost podatkov in regulativa
    b) manjši odzivni čas (latenca)
    c) prilagoditev modela (fine-tuning)
    d) če je pa še klicev veliko, je še dodatni stroškovni bonus

    2) Obstajajo specializirane firme, ki instalirajo odprtokodni model in ga ponujajo po nižji ceni, kot je uradni kanal (ki je v primeru Kimi K3 kar visoka, primerljiva z Anthropic and OpenAI)

    Več o tem
    https://darkomulej.substack.com/p/kimi-k3-and-the-myth-of-the-absolute

    Všeč mi je

  3. V resnici je bil Deepseek in posledična poplava odprtokodnih modelov ena največjih diverzij na ameriško ekonomijo v zadnjem času. Ob izgubljanju splošne industrijske konkurenčnosti in primata v mikroelektroniki je Amerika vse stavila na AI. Ai poganja praktično vso rast ameriškega kapitalskega trga. Prostokodni sistemi so učinkovito sredstvo za zmanjšanje vrednosti AI balona (ob tudi pomanjkanju električne energije seveda.)

    Zanimivo vprašanje je ali bodo odprtokodni AI sistemi prevzeli podobno vlogo kot so jo Unix, Linux in ekvivalenti v računalniškem okolju. Vsekakor je strateška pomembnosti tukaj vsaj tako velika, če ne večja.

    Všeč mi je