GPT-6 Astra проверяют на роботах: GitHub-каталог собрал 35 публичных экспериментов

На GitHub появился каталог Awesome-Astra-Embodied-AI, автор которого собирает публичные примеры использования GPT-6 Astra для управления роботами, построения симуляций и подготовки сред для обучения. Сейчас в репозитории перечислены 12 экспериментов с непосредственным управлением в симуляторах, 10 работ с реальными роботами, один случай вызова отдельной управляющей модели, шесть сценариев переноса реальных данных в симуляцию и еще шесть экспериментов с созданием обучающих сред.
Самая интересная часть подборки связана с тем, что GPT-6 Astra используют не только как обычную языковую модель для написания управляющего кода. В отдельных демонстрациях модель получает изображение с камеры, разбирается с доступным интерфейсом управления и затем формирует действия для робота. Например, в одном из опытов Astra училась нажимать клавиши физической клавиатуры с помощью робота примерно 40 минут, а в другом за полчаса разобралась со связью между суставами манипулятора и положением рабочего органа, после чего смогла захватить маркер. Это заявления авторов соответствующих демонстраций, а не результаты независимого стандартизированного теста.

Фото: zjwzcx

Есть и более привычная схема, где языковая модель отвечает лишь за верхний уровень. В опытах с Unitree G1 Astra строила план или траекторию, после чего отдельный планировщик и контроллер переводили ее в движения робота. Поэтому фраза «GPT-6 управляет роботом» сама по себе мало что говорит о технической реализации: в разных работах степень непосредственного участия модели заметно отличается.
OpenAI действительно выпустила GPT-6 Astra и описывает ее как модель для сложных задач, включая работу с компьютером, программирование и использование инструментов. В официальном анонсе робототехника не выделена как отдельный продукт или специализированное назначение модели. Поэтому новый GitHub-каталог правильнее воспринимать как подборку экспериментов независимых разработчиков, которые пытаются применить универсальные возможности Astra к физическим системам, а не как анонс робототехнической платформы OpenAI.

Фото: zjwzcx

Для робототехники здесь интересен именно уровень абстракции. Вместо заранее написанного алгоритма под одну операцию исследователи пробуют давать модели описание задачи, изображение или демонстрацию, после чего заставляют ее самостоятельно подобрать последовательность действий либо написать необходимый управляющий код. Но собранные ролики и отдельные опыты пока нельзя считать доказательством надежной автономной работы: условия, оборудование и методы проверки различаются, а единая независимая методика для этих 35 случаев отсутствует.