Технологический Болт Генона

0,30 $ за миллион токенов: как Revolut перевел 2 000 инженеров на self‑hosted GLM https://habr.com/ru/companies/selectel/news/1104032/

Цифры озвучил Дэвид Абитбол, руководитель эксплуатации и инфраструктуры Revolut, на конференции AI Engineer в Нью‑Йорке. Это лишь оценка самой компании, независимо ее никто не проверял. Но любой команде, которая считает бюджет на ИИ‑кодинг, кейс полезен своей конкретикой. 10 000 $ в месяц на инженера С этой цифры все началось. Revolut внедрил Gemini в начале 2025 года и Claude Code в начале 2026-го. Отдельные инженеры тратили от 1 000 $ до 10 000 $ в месяц при довольно малой отдаче. Компании пришлось ввести жесткие лимиты, из‑за чего сотрудники начали экономить токены. «Мы очень скептически относились к стоимости ИИ», — сказал Абитбол. Сначала банк запустил GLM-5.1, сейчас в продакшене GLM-5.3. У GLM-5.1 около 754 млрд параметров, из которых на токен активны примерно 40 млрд. Карточка GLM-5.3 на Hugging Face указывает 753 млрд и рекомендует для запуска SGLang и vLLM. Инфраструктура и инженеры Вся нагрузка помещается на 56 ускорителей NVIDIA B200, то есть на семь стандартных систем DGX B200. Ассистентами пользуются около 2 000 инженеров, так что на один GPU приходится примерно 36 человек. Веса GLM занимают около 380 ГБ видеопамяти. Еще от 6 до 26 ГБ уходит на контекст каждого пользователя, в зависимости от точности. По словам Абитбола, тонкая настройка гиперпараметров инференса дала больше, чем докупка GPU. Из конкретных техник он перечислил квантование в NVFP4, раздельные пулы для prefill и decode и ограничение длины контекста. ... 0,30 $ против подписки Итоговая себестоимость, по оценке Revolut, составляет 0,30 $ за миллион входных и выходных токенов. Это около десятой части того, во что обходились Codex и Claude Code. Все же, сравнение не самое корректное: подписки включают агентную обвязку, а собственному кластеру нужны инженеры эксплуатации. И все же при таком масштабе разница на порядок перекрывает любые разумные поправки на ФОТ. Самый интересный эффект поведенческий. Когда токены перестали быть дефицитом, инженеры начали запускать задачи параллельно. Основной выигрыш (60% по скорости написания кода и 70% по lead time) дали задачи вокруг кода: отладка и работа с тикетами в Jira и Confluence. «Когда у тебя безлимитные токены, ты свободен это делать», — объяснил Абитбол. Ограничения GLM работает только с текстом, поэтому визуальные задачи роутер отправляет в Gemini и модели OpenAI. Главный риск в вызове API, размещенных в Китае. И размещение весов у себя или в региональном облаке, по мнению компании, эту проблему решает. Это спорно, так как self‑hosting закрывает утечку данных, но остаются вопросы к поведению самой модели, которые проверяют исключительно собственные evals. Так что, если у вас есть хотя бы пара сотен активных юзеров, self‑hosted агентные модели уже окупаются. Тем более, что выбор мощных моделей с открытыми весами постоянно растет.

Оригиналы British fintech Revolut slashes AI coding costs 10x by cutting out Claude and going self-hosted https://www.theregister.com/ai-and-ml/2026/11/03/british-fintech-revolut-slashes-ai-coding-costs-10x-by-cutting-out-claude-and-going-self-hosted/5307345 Shipping like a startup, regulated like a bank https://ai.engineer/nyc/2026/talks/revolut