Раунд 3 · сет 1.1 · закрыт 14.10.2026
Бенчмарк ИИ-агентов на русском
проект vibecoding.ru · статья arXiv↗
- 25
- задач
- ×3
- повтора
- 6
- тем
- 7
- конфигураций · 1 вне зачёта
- 14.10.2026
- закрыт
РуБенч меряет ИИ для РУ-рынка. Первый бенчмарк - ИИ-агенты: настоящие задачи с ТЗ на русском, зачёт ставит скрытый тест автора починки. Дальше добавятся новые бенчмарки для новых срезов. Кто справляется лучше сегодня - таблица ниже.
Раунд 3 закрыт 14.10.2026. Это первый прогон на сете 1.1: 25 живых починок из российских проектов, три повтора на задачу, усилие high у всех. В зачёте семь конфигураций Claude Code и Codex; SourceCraft идёт вне зачёта. Koda и Antigravity в этом раунде не участвовали, их летние числа остались в разборе раунда 2.
Лидерборд · раунд 3
Кто решает больше всех
Балл — доля решённых задач в процентах: сначала среднее по повторам, потом по задачам, потом по репозиториям, чтобы большой репозиторий не перевешивал. Рядом стоят число сданных прогонов из 75 и 95 % доверительный интервал по бутстрэпу.
Claude Code
Opus 5.5 · high
93,5
69/75
82,6–100
129
Claude Code
Fable 5.1 · high
89,1
66/75
76,8–98,6
285
Codex
GPT-6.1 Sol · high
89,1
66/75
76,1–100
35
Codex
GPT-6 Astra · high
87,0
64/75
74,6–97,1
184
Claude Code
Haiku 5.5 · high
80,4
60/75
65,2–94,2
6
Codex
GPT-6 Luna · high
67,4
51/75
48,5–84,1
2,5
SourceCraft CLI
ds · high
вне зачёта
38,6
10/24
—
—
Балл = P(c) × 100. «Сдано» — прогоны, прошедшие скрытые тесты, из 75 (25 задач × 3). ДИ: 95 % бутстрэп по задачам. Строка «вне зачёта» означает прогон не по полному протоколу, число описательное.
Оговорка про сеть. У Claude Code в Bash была сеть, у Codex песочница без сети. Шесть ячеек из 150 у Fable 5.1 и Opus 5.5 ходили наружу; в одной из них (lambdas-6) Fable скачала исходный файл задачи. Без этой работы у Fable 5.1 было бы 87,7 вместо 89,1. Числа в таблице идут как есть, с этой пометкой.
SourceCraft CLI: одна попытка на задачу вместо трёх, кредитов хватило на 24 ячейки. Сдано 10 из 24, отсюда 38,6. Если считать правки, внесённые до зависания сессии, выходит 12 из 24 (47,7, ДИ 27,3–68,2). Основное число — первое: зависание по протоколу считается нулём.
Fable 5.1 в раунде 3 в зачёте наравне с остальными; в раунде 2 она шла вне зачёта.
Полный отчёт раунда 3 с траекториями выйдет в открытый репозиторий; до него числа на этой странице — копия отчёта лаборатории.
Цена за задачу в рублях — по счёту провайдера за прогон, где он известен; у подписочных конфигураций прочерк.
Экономика · раунды 1-2
Сколько стоит решённая задача
Каждая точка - конфигурация. По вертикали - процент решённых задач, по горизонтали - средняя цена решённой задачи; переключатель показывает те же точки по минутам. Чем выше и левее точка, тем выгоднее агент.
раунды 1-2 · цена: 12 из 14 конфигураций
Цены - API-эквивалент по родному прайсу модели, средняя на задачу: Claude - из CLI-аккаунтинга ячеек; Codex - из session-роллаутов по прайсам OpenAI; koda-pro - из телеметрии траекторий по прайсу GLM-5.2 (identity базы - заявление вендора); Gemini - реконструкция токенов из транскриптов (оценка, без кэш-скидок). SourceCraft без цены до подтверждения модели вендором - виден на метрике «Минуты». fable-5 вне зачёта (safeguard-fallback), fable-5.1 вне зачёта по дате среза знаний. koda-base вне графика.
Разумный дефолт - Claude Code + Sonnet 5: решает 74.7% задач по $2.42 за задачу. Opus 4.8 решает на 4 пункта больше, но стоит на треть дороже - а разброс между прогонами (±6.1) шире самой разницы. Проще говоря: эти четыре пункта могут быть случайностью.
Дешевле всех зачёт у GPT-5.6 Luna: 75.4% решённых по $0.72 за задачу - втрое дешевле Sonnet при том же уровне.
Быстрее всех - Gemini: Antigravity с 3.5 Flash и 3.1 Pro закрывают задачу за 1.6-2.7 минуты. Плата за скорость - точность: обе строки ниже Claude Code + Haiku 4.5 по доле решённого.
Методология
Почему этим цифрам можно верить
- 01
ТЗ на русском, написанные заново. Формулировки родились в бенче из живых багов и до публикации в интернете не существовали.
- 02
Судья - спрятанный тест мейнтейнера. Зачёт ставит не жюри, а тест, которым мейнтейнер реально закрыл этот баг; агент этого теста не видит.
- 03
Приватный оракул + SHA-слепок до статьи. Оракул не публикуется, но его SHA-256-слепок выложен до выхода статьи - подменить проверки задним числом нельзя.
- 04
Полные траектории + канарейка. Подмену модели сейфгардом увидели только в полных траекториях. Канарейка в каждом опубликованном файле - по ней ловится утечка в тренировочные корпуса.
Задачи · сет v1.1
Шесть примеров из 25
Сет 1.1 — 25 живых починок из российских проектов, шесть тем. Его задачи откроются вместе с отчётом раунда, чтобы участники не видели их до прогона. Ниже шесть примеров из открытого сета 1.0: формат задач тот же.
Починить падение сцен на постах канала
aiogram/aiogram
HEAD должен наследовать кэш-заголовки GET
laravel/framework
Мидлварь Fastify не должна пропускать trailing slash
nestjs/nest
Сохранить данные при переходе между сценами
aiogram/aiogram
Развести /start и deep-link аргументы
aiogram/aiogram
Не терять настройки превью при send_copy
aiogram/aiogram
три паспорта раскрыты целиком · ещё три открывают короткую карточку задачи
Блог
Разборы раундов
Подписка
Уведомить о новых раундах
Новый раунд - на каждый крупный релиз модели. В планах сета: задачи, где русский - ещё и язык кода (1С).
письмо на каждый новый раунд · рассылка vibecoding.ru