Перейти к содержимому
Новость

Gigabyte W775 выдала 2,25 млрд токенов в сутки на NVIDIA GB300

ServeTheHome протестировал настольную ИИ-станцию Gigabyte W775-V10-L01 с NVIDIA GB300 Grace Blackwell Ultra. В одном из режимов система превысила 26 000 токенов в секунду, что соответствует примерно 2,25 млрд токенов за сутки. При этом внутри обычного башенного корпуса фактически находится архитектура серверного класса.

Александр Фомин
Gigabyte W775 выдала 2,25 млрд токенов в сутки на NVIDIA GB300

Автор: Patrick Kennedy

Результат получен с моделью Qwen3.6-35B-A3B в формате NVFP4 при 512 одновременных запросах. Поэтому 2,25 млрд токенов в сутки нельзя воспринимать как универсальную производительность для любой LLM. Это показатель пропускной способности в конкретном сценарии с большим числом параллельных задач.

В основе W775-V10-L01 лежит NVIDIA GB300 Grace Blackwell Ultra Desktop Superchip. Процессор Grace содержит 72 ядра Arm Neoverse V2 и работает с 496 ГБ LPDDR5X. У Blackwell Ultra есть еще 252 ГБ HBM3E с пропускной способностью 7,1 ТБ/с. В сумме официальная спецификация GIGABYTE заявляет до 748 ГБ когерентной памяти. CPU и GPU связаны через NVLink-C2C с пропускной способностью 900 ГБ/с.

Отдельный интерес представляет сеть. ConnectX-8 SuperNIC оснащен двумя портами по 400 Гбит/с. Тестирование показало 784,3 Гбит/с полезной пропускной способности между Blackwell Ultra GPU при использовании двух линий. Связь со стороны Grace CPU оказалась заметно уже: 228,9 Гбит/с. Причина в архитектуре системы: GPU соединен с ConnectX-8 напрямую через PCIe Gen6 x16, тогда как CPU использует PCIe Gen5 x8.

То есть W775 устроена иначе, чем обычная мощная рабочая станция с процессором и отдельной видеокартой. Сеть и накопители здесь тесно связаны с GPU, чтобы Blackwell Ultra мог напрямую работать с высокоскоростными устройствами и масштабироваться на несколько систем. Например, два M.2 PCIe Gen6 x4 подключены через ConnectX-8, а GPU может обращаться к ним с пропускной способностью до 30 ГБ/с.

За такую компоновку приходится платить энергопотреблением. Блок питания рассчитан на 1600 Вт, а сама система в тестах не опускалась ниже примерно 250 Вт даже в простое. При полной нагрузке ServeTheHome измерил уровень шума 44–46 дБА. Масса корпуса достигает 29 кг.

GIGABYTE позиционирует W775-V10-L01 как настольный ИИ-суперкомпьютер для обучения и инференса моделей. Официальная страница продукта уже опубликована, однако информации о поставках этой рабочей станции в России и российской цене сейчас нет.

Какой сценарий для такой машины выглядит интереснее: локальная работа с крупными моделями или сотни параллельных ИИ-агентов?

Источник: ServeTheHome
8 показов