Аналитик Алексей Тихонов опубликовал исследование о том, как языковые модели генерируют и оценивают юмор. Gemini оказался лидером — его шутки признали лучшими и люди, и другие модели. Бизнесу это не всё равно: юмор в коммуникациях влияет на удержание аудитории и стоимость привлечения клиента (CAC).
Что произошло
Тихонов декомпозировал проблему оценки юмора — это методологически сильный ход. Работа сравнивала модели и по генерации, и по способности оценивать чужие тексты. Источник: публикация на Substack автора.
По данным исследования: Gemini — явный фаворит среди моделей и среди людей-оценщиков. Остальные результаты автор поста намеренно не пересказывает — читайте оригинал.
- Влияние на воронку и контент — если Gemini генерирует более "человечный" юмор, это снижает затраты на редактуру и правку тона в контентных командах
- Влияние на CAC и маржу — юмор в рекламных текстах исторически повышает запоминаемость. Если модель стабильно выдаёт рабочий юмор, стоимость A/B-тестирования креативов падает
- Влияние на операционку — команды, использующие ИИ для черновиков, получают аргумент в пользу пересмотра стека инструментов. Это пересмотр процессов, не только подписок
Как использовать это в ближайшие 30 дней
- Провести точечный тест — возьми 5 актуальных задач: заголовки, подписи, рассылки. Прогони через Gemini и текущий инструмент. Метрика: оценка тона внутренней командой по шкале 1–5
- Замерить скорость редактуры — зафиксируй, сколько правок вносит редактор после Gemini против текущей модели. Метрика: среднее число итераций на единицу контента
- Не менять стек раньше времени — одно исследование про юмор не повод мигрировать весь контент-процесс. Жди минимум трёх независимых тестов на своих задачах
Вывод
Исследование любопытное, методология — сильная. Но "лучший юмор по оценке людей" и "лучший результат в бизнес-задаче" — разные переменные. Наблюдать. Тестировать точечно. Глобально не перестраиваться.
Пока без комментариев. Будьте первым.