Шахматный движок Codex проиграл одну и ту же партию пять раз: разошлись только часы

Обычно код-агентов сравнивают на задачах бенчмарка: прошёл тест или нет. Здесь агенты сделали по артефакту, и артефакты сыграли друг против друга. Разработка заняла у каждого больше получаса, а весь матч уложился в 12 минут.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

Статистика сдалась. cutechess напечатал разницу Elo как inf ± nan и вероятность превосходства 99,9% при нулевой доле ничьих. На счёте 10-0 рейтинг считать не из чего.

Партии не мусорные. В третьей Fable 5 провёл греческий подарок: 18.Bxh7+ Kxh7 19.Ng5+ с вилкой на короля и ферзя. В седьмой король Codex так и не рокировался, добрёл до c5, был загнан обратно на d8 и получил мат там.

Детерминизм важнее счёта. Пять партий белыми у Codex совпали ход в ход, разошлись только показания часов. Собственная оценка движка к восьмому ходу этой линии показывала минус 2,36, и он сыграл её ещё четыре раза. Десять партий дают меньше независимых наблюдений, чем выглядит по счёту.

У Fable 5 разброс тоже неполный: партии 1 и 5 вышли близнецами. Итого 4 разные партии из 5 белыми против 1 у Codex.

Процессы были разные. Прогон Fable 5 включал валидацию perft на шести эталонных позициях с точным совпадением, включая 119 060 324 узла на глубине 6, и состязательное ревью, которое поймало 3 бага до матча. У Codex такого этапа не было.

Один промпт, один прогон разработки на агента, одна машина. Матч сравнил два движка, которые агенты написали в тот раз, а не силу самих моделей.

Разбивка матов за десять партий: семь ферзём, два конём, один ладьёй.