Mixture-of-Experts

WARP запустил полный Kimi K3 на 64 ГБ памяти, но скорость пока терпеливая

Полный Kimi K3 с 2,78 трлн параметров удалось запустить на MacBook Pro с 64 ГБ памяти. Вместо размещения всей модели в RAM движок WARP подгружает нужные эксперты прямо с NVMe, но платой стала скорость около половины токена в секунду.