JetBrains vydal Mellum2.1, malý otevřený model pro programování na vlastním počítači

JetBrains, vý­robce ná­strojů pro vý­vo­jáře, vy­dal Mellum2.1, další verzi mo­delu, který v červnu zve­řej­nil jako open source, tedy volně ke sta­žení. Jde o tak­zvaný mixture-of-experts: cel­kem má 12 mi­li­ard pa­ra­me­trů, tedy na­u­če­ných čí­sel, ale při práci jich za­po­juje jen 2,5 mi­li­ardy. JetBrains ho po­pi­suje jako kom­paktní a rychlý. Vychází pod ote­vře­nou li­cencí Apache 2.0. Architektura se od verze 2 ne­změ­nila; skoro všechna práce šla do do­tré­no­vání po základním tréninku.

Graf uka­zuje rych­lost. Mellum2.1 je stejně rychlý jako Mellum2 a tech­nika MTP, při které mo­del před­po­vídá ně­ko­lik to­kenů (kousků slov) na­jed­nou, ho u jed­noho po­ža­davku zrychlí asi 1,6krát. Pod vel­kou zá­těží je podle JetBrains nej­rych­lejší ve srov­ná­vané sku­pině a ob­slouží téměř dva­krát víc to­kenů než model Qwen3.5-⁠9B.

Mellum2 byl rychlý, ale v re­po­zi­táři, tedy ve složce s ce­lým pro­jek­tem, ne­pra­co­val tak dobře, jak firma chtěla. Po létě tré­ninku me­to­dou po­kusů a od­měn (re­in­for­ce­ment lear­ning) ve sku­teč­ných pro­stře­dích umí Mellum2.1 pro­jít kód, upra­vit sou­bory a své změny zkon­t­ro­lo­vat. Trénink bě­žel v mi­li­o­nech izo­lo­va­ných běhů na­příč tisíci prostředí. Otevřená tré­nin­ková data podle firmy často ob­sa­hují roz­bité testy nebo ne­o­vě­ři­telné od­po­vědi, proto každý zdroj před tréninkem filtrovala.

Největší zlep­šení proti Mellum2 je podle JetBrains v agent­ním pro­gra­mo­vání, kdy mo­del sám plní jed­not­livé kroky úkolu. Zvládne ale i běžné otázky a po­stupné ře­šení ma­te­ma­tic­kých úloh. Stáhnout se dá z webu Hugging Face. Verze GGUF pro llama.cpp, Ollama a LM Studio, tedy pro­gramy pro spuš­tění mo­delu na vlast­ním po­čí­tači, mají přijít brzy.