Судью для агента можно брать дешёвый: Jev совпал с разметкой человека в 100% случаев

Инженеры LangChain Дэниел Ши и Шон Роше взяли пять ответов погодного агента и прогнали каждый по 100 раз четырьмя судьями: 500 решений на судью. Эталоном служила разметка человека.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

Судья сошёлся с человеком. Jev попал в разметку в 100% случаев, Claude Sonnet 4.6 — в 80,0%, обе модели GPT-5.6 встали между ними. Судья с точностью 80% ошибается в каждом пятом решении о трассе.

Jev ещё и держит своё решение от прогона к прогону: разброс его оценок оказался в 92 раза меньше, чем у Claude Sonnet 4.6.

Раньше трассы судила большая модель: Claude Sonnet 4.6 думал над каждой 2,8 секунды и брал $0.05634 за вызов. Jev отвечает за 0,44 секунды и берёт $0.00035.

Jev не пишет текст, а выносит решение. На OpenRouter входные токены стоят $0.042 за миллион, выходные не тарифицируются вовсе. Контекст у модели 32 000 токенов.

Как подключить. Ключ берётся в консоли console.typesafe.ai/keys, SDK ставится командой `pip install typesafe-sdk` (нужен Python 3.10 и выше) или `npm install typesafe-sdk`. Запрос уходит на api.typesafe.ai/v1/systemone, модель по умолчанию jev-latest, вопрос бывает трёх видов: да/нет, выбор из вариантов, оценка.

Через LangChain путь короче: `pip install langchain-typesafe`, ключ в переменной TYPESAFE_API_KEY, класс TypeSafeClassifier работает как обычный Runnable, а решения Jev видны в LangSmith вместе с токенами и тратами. Braintrust добавил Jev скорером 18.09. Сам замер повторяется из открытого репозитория jev-as-a-judge.

У себя Jev не поднять: TypeSafe не публиковала ни весов, ни числа параметров, модель живёт только хостинговым API. Свои цифры компания дала при анонсе System One 15.09, замер на ответах агента сделала уже LangChain.

Следующий сигнал за сторонними замерами: цифры по Jev пока дали только сама TypeSafe и LangChain.