Baidu öppnar ERNIE 5.5 Flash Base med 280B parametrar
14 miljarder parametrar är aktiva per token, och inferens stödjer 1 miljon tokens kontext.
Baidus basmodell ERNIE 5.5 Flash Base går att ladda ner från Hugging Face. Vikterna ligger under baidu/ERNIE-5.5-Flash-Base i FP8 och BF16.

Enligt Baidus produktsida är det en gles MoE-modell med 280 miljarder parametrar totalt och 14 miljarder aktiva per token. Den förtränades från scratch på 33,5 biljoner tokens med träningskontext upp till 128 000 tokens. Finjustering och inferens stödjer 1 048 576 tokens kontext.
Checkpointen är tagen i slutet av förträningen, innan mid- eller post-training. Baidu beskriver den som en gemensam startpunkt för domänanpassning, instruktionsträning och RL-forskning. På bolagets sida jämförs resultatet med DeepSeek-V4-Flash-Base, Hy3-preview-Base och MiMo-V2.5-Base under samma utvärderingspipeline.
Licensen är ERNIE 5.5 Flash Base Model License Agreement v1.0. Baidu skriver att den posttränade ERNIE 5.5 Flash ska följa.
Baidu har släppt ERNIE 5.5 Flash Base som öppen modell på Hugging Face under baidu/ERNIE-5.5-Flash-Base.