
Edge0 держит 35B-модель в 2,9 ГБ активной памяти, выгружая экспертов на SSD
Открытый фреймворк Edge0 запускает разреженную MoE-модель класса 35 млрд параметров с заявленным пиком около 2,9 ГБ активной памяти. Секрет не в том, что вся модель помещается в эти 2,9 ГБ: большая часть весов остается на SSD и подгружается только тогда, когда она нужна.




























