ARC-AGI-3: новый тест для ИИ, который поставит в тупик даже GPT-4o

25 марта Y Combinator проведёт Launch Party для третьей версии ARC-AGI — самого неудобного теста на интеллект для современных языковых моделей. На мероприятии будут Франсуа Шолле (создатель серии), Грег Камрадт и Сэм Альтман. Для бизнеса, который строит продукты на ИИ, это прямой сигнал: планка оценки реальных возможностей моделей снова поднимается.

Что случилось

ARC (Abstraction and Reasoning Corpus) — серия тестов, созданная Франсуа Шолле, главным критиком идеи, что масштаб языковых моделей равен интеллекту. Задачи в ARC нельзя решить зазубриванием: каждый набор требует вывести правило из нескольких примеров и применить его к новой ситуации. Именно поэтому GPT-4 и аналоги на этом тесте исторически проваливались.

Третья версия обещает обновлённые наборы задач, которые сложнее предыдущих. Конкретные параметры на момент публикации не раскрыты — по данным организаторов, детали появятся на самом мероприятии.

Почему это важно для маркетинга и денег

• Переоценка AI-инструментов — бизнес активно внедряет автоматизацию на базе LLM (больших языковых моделей). Если ARC-AGI-3 покажет, что модели по-прежнему плохо справляются с абстрактным рассуждением, это прямо влияет на надёжность автоматизированных решений в аналитике, прогнозировании и контенте.
• CAC (стоимость привлечения клиента) через AI-контент — рынок AI-генерации обещает дешевизну. Новый бенчмарк помогает отделить модели, которые реально рассуждают, от тех, кто хорошо имитирует. Это меняет выбор инструментов и, соответственно, реальную стоимость производства.
• Инвестиционные и продуктовые решения — присутствие Альтмана на запуске стороннего бенчмарка говорит о том, что OpenAI вынуждена публично реагировать на независимую оценку. Для тех, кто выбирает AI-платформу для бизнеса, независимые тесты становятся весомее маркетинговых заявлений вендоров.

Где обычно ломается система (узкие места)

• Слепое доверие к бенчмаркам вендоров: компании оценивают модели по внутренним тестам провайдеров → независимая оценка игнорируется → автоматизация даёт сбои на нестандартных задачах.
• Переоценка универсальности LLM: задачи на абстракцию передаются модели без проверки → модель воспроизводит похожий паттерн из обучения → результат выглядит верным, но логически неправильный.
• Отставание команды от изменений рынка: новые версии моделей выходят быстро → команда работает на устаревшем стеке → конкурент уже использует модель, прошедшую более строгий отбор.

Как применить в среднем бизнесе за 30 дней

1. Аудит AI-стека — составить список всех задач, где сейчас используется ИИ / зафиксировать, какие из них требуют рассуждения, а не шаблонного ответа.
2. Провести внутренний тест на логические задачи — взять 10 нестандартных кейсов из вашего бизнеса и прогнать через текущую модель / измерить долю корректных выводов.
3. Сверить результаты с независимыми бенчмарками — после 25 марта изучить результаты ARC-AGI-3 для используемых моделей / скорректировать ожидания и сценарии применения.
4. Пересмотреть ROI (окупаемость инвестиций) AI-автоматизации — если модель слабо рассуждает на абстрактных задачах, вынести их на ручную проверку / пересчитать реальную экономию.

Риски и ограничения (без розовых очков)

• Высокий балл по ARC-AGI-3 у конкретной модели появится в маркетинге провайдера раньше, чем в реальных продуктах — проверяйте, в какой конфигурации тест пройден.
• Бенчмарк измеряет абстрактное мышление, а большинство бизнес-задач — рутинные и шаблонные. Плохой результат по ARC не означает, что модель бесполезна для вашего конкретного кейса.
• Новые задачи ARC-AGI-3 пока не опубликованы — оценивать модели до мероприятия по предыдущим версиям некорректно, методология могла существенно измениться.

Вывод

ARC-AGI-3 — это попытка сохранить честную линейку измерения прогресса ИИ в условиях, когда каждый вендор называет свою модель умнейшей. Для бизнеса это инструмент трезвой оценки: стоит следить за результатами после 25 марта и сверять их с теми задачами, которые вы реально делегируете машине. Тем, кто строит продукт на ИИ-фундаменте, — обязательно. Тем, кто использует ИИ для генерации текстов на автопилоте, — можно пока спать спокойно.