Карпаты выпустил Autoresearch: ИИ-агент сам пишет и оптимизирует код обучения языковых моделей

Андрей Карпаты (экс-директор по ИИ в Tesla, сооснователь OpenAI) опубликовал репозиторий Autoresearch на GitHub. Публикация разошлась по ML-сообществу за сутки. Суть: агент сам ведёт цикл экспериментов по обучению языковых моделей (LLM) без участия исследователя в рутинных итерациях.

Суть без шелухи

Весь код обучения — один файл, ~630 строк, одна GPU. Человек задаёт направление через промпт в .md-файле. Дальше агент работает автономно.

Цикл агента: создать ветку → изменить архитектуру → подобрать оптимизатор → запустить обучение (~5 минут) → проверить validation loss → сохранить улучшение или откатить. Каждая точка на графике — один полный прогон.

Можно запустить несколько агентов с разными промптами параллельно. Побеждает тот, кто быстрее снижает validation loss. Карпаты прямо называет это заменой исследователей, которые "работали между едой и митингами".

Как это ломает или улучшает системы

• Скорость итераций — один человек с кластером GPU закрывает объём экспериментов, который раньше требовал команды из 3–5 ML-инженеров. Стоимость одной итерации падает до стоимости вычислений.
• Структура затрат ML-команды — CAC (стоимость привлечения клиента) на найм senior ML-исследователей перестаёт окупаться на задачах поиска гиперпараметров и архитектурных переборов. Деньги уходят в GPU-кластер, а человек остаётся на уровне постановки задачи.

Мой рентген

Карпаты прав в главном: узкое место в ML-исследованиях — скорость цикла "гипотеза → эксперимент → вывод". Autoresearch атакует именно это место. Один агент делает за ночь то, что команда делает за спринт.

Где теория упирается в практику: агент оптимизирует то, что можно измерить — validation loss. Но постановка правильной задачи, выбор датасета, интерпретация аномалий — это пока требует человека. Агент не знает, что задача сформулирована неверно.

Второй риск — масштаб без контроля. Рои агентов на кластере генерируют тысячи коммитов. Без жёсткой системы версионирования и аудита это превращается в неуправляемый технический долг. Карпаты решает это через git-ветки и фиксацию только улучшений — но при параллельном запуске агентов с конфликтующими промптами логика схождения неочевидна.

Для бизнеса важна другая цифра: стоимость часа GPU против стоимости часа senior-исследователя. По открытым данным рынка труда — разница на порядок. Экономика очевидна, если задача хорошо формализована.

Вывод

Тезис Карпаты принять и усилить: автономные агенты меняют экономику ML-команд быстрее, чем большинство CTO успевает это заметить. Применять там, где задача чётко измерима. Держать человека на уровне постановки задачи и интерпретации результатов.