epsilon correct

Если вам зашёл Gemini 4 Argon, попробуйте Gemini 4 Carbon :-)

State of AI report каждый год Нейтан делает толковую презентацию с тем, что произошло в иишечке за год от развития рынка до исследований. Довольно подробное саммари на ~240 слайдов, которое приятно читать – без приукрашиваний, слопа и кучи хайпа. прямая ссылка на pdf

И в догонку (нет, канал не будет перепрофилироваться в эпоху RSI) – посмотрите в кино You can see everything, где из документалки про Элизабет Холмс сделали психологический триллер про то, насколько сильно наши впечатления могут меняться от малейшего выбора слов, настроения, контекста; как не могут быть точными повествования даже записанные на камеру. 10/10 no notes, удивительно, как именно в этом году такой расцвет

Разбавлю канал, а то одни релизы. Digger – гениальный фильм. Не слушайте Долиных, это – лучшая сатира, которую я видел; бегите, котики, смотреть в кино, а то из-за низких кассовых сборов его снимут и придётся наслаждаться дома. Технически превосходен, прекрасная музыка от Cosmo Sheldrake. По сюжету и смыслу спойлерить не буду, скажу лишь, что видел 3-4 прочтения от людей, которые абсолютно уверены, что их-то – правильное.

General availability С сегодняшнего дня Gemini 4 Argon можно потрогать по API и в приложении. блогпост

Галерею бенчмарков вам – разные сторонние компании тестировали 4 Argon и получилось неплохо: • топ-1 в аггрегированом Vals Index с первыми местами в выполнении финансовых, аналитических и юридических задач • 5 место в artificial analysis intelligence index (который сильно сместился в сторону агентского кодинга, хз). Зато почти без галлюцинаций! туда же бенчмарки от mercor, andon labs и тп. Надеюсь, быстро доберётся до юзеров!

Gemini 4 Argon Пока только по превью (ну или устраивайтесь к нам работать). Бенчмарки норм. Анонс

Gemini 3.8 Flash Наконец-то достали до опуса по агентским бенчмаркам, вот только скорость в 5-10 раз выше, ну и цена в несколько раз меньше.

Что-то я сюда не писал уже почти месяц, будем исправляться. Произошло много чего, анонсы через неделю уже никому не интересны, поэтому чуток расскажу про то, что запомнилось. Gemini 3.7 Flash – первая модель от гугла, которой можно пользоваться для агентского кодинга, хоть и сама по себе очень специфичная. Она поглупее других, но из-за супер быстрого сёрвинга на >300 TPS превращается во что-то полезное. Или напрототипировать что-то для других агентов. RSI Simulator – симулятор неолабы, которая пытается достичь recursive self improvement (RSI), когда модельки начнут бесконечно улучшать себя 📈. Начинается как простой кликер, потом тратим деньги, балансируя количество рисёрчеров, количество компьюта и баланс того, на что тратим деньги. Если у кого-то получится раньше, чем в 2029 году – пишите в комменты, как получилось!

Куртку продали за $960.000 Если купили дорогие подпищеки, дайте поносить?

у нашей с вами геммы пофиксили темплейт чата, стало лучше на бенчах 👀 бежим качать обновление с хф

Техрепорт Gemma 4 наконец-то докатился до архива ☺️, особо ничего нового, немного больше эвалов в long-context и для аудио

Мечта всех, кто хотел кожаночку как у Дженсена Хуанга – на следующем Sotheby's можно будет купить подписанную им куртку Tom Ford. Средства пойдут на благотворительность, ориентировочная цена – 40-60k$, хотя зачастую у аукционных домов не всё хорошо с оценкой спроса, и куртка может уйти за сильно больше какому-нибудь сотруднику фронтирной лабы.

Пока я откисаю в Корее от очередного сезона исхода дорогих коллег [1, 2, 3, и др.] перед ICML, наша с читателями любимая Лилиан Вэн – авторка топ-1 блога по диплёрнингу – написала первый за почти два года пост про историю и развитие науки об оценке правил масштабирования (scaling laws) языковых моделей. Почему "правил", а не "законов" – чтобы не создавать ощущения универсальности самих законов: всех необходимых факторов для по-настоящему точных предсказательных правил для конкретных архитектур, моделей, данных, оптимизаторов и других факторов, на них влияющих. Особого почтения заслуживает упоминание статьи Lovelace et al., где в первый раз в академическом мире разбираются, как влияют повторения данных на scaling laws. Так что у кого знания остановились на шиншилле – бежим освежать знания, чтобы фронтир толкался предсказуемо и безопасно.

Проверяемся, запомнили ли вас ллмки на intheweights.com Гпт 5.5 меня задизреспектила 😭

MTP спекулятивный декодинг в Gemma 4: ускоряемся в два раза без потери качества 🥳 В нашу дорогую гемму наконец завезли спекулятивный декодинг, когда более маленькая модель предсказывает токены, которые могут верифицироваться большой моделью параллельно, существенно ускоряя инференс для локальных юзкейзов. Попробовать можно через HuggingFace transformers, остальные движки тоже скоро будут поддерживать. блогпост, технический блог

Продолжаем геммапропаганду. В прошлом году у NVIDIA вышла неплохая статья о том, как ловить людей, которые доливают тест в трейн. CoDeC – нормализованный показатель перплексии, где для тестсета бенчмарка считают изменения в перплексии с дополнительными примерами из того же бенчмарка. Для неконтаминированных моделек мы ожидаем, что дополнительные примеры не будут сбивать модель с толку, а в лучшем случае помогут. С другой стороны, если модель запомнила текст из теста, дополнительные примеры собьют её с толку и уверенность модели в ответе упадёт. Шкала нормализована от 0 до 100, где ~80% значит, что примеры из теста модель видела буквально, ~40% – в перефразированном виде. Товарищ с твиттера посчитал CoDeC для Gemma 4 и сравнил с Qwen 3.5 – почему-то у наших китайских коллег модель почти запоминает примеры из теста.

WeirdML – один из самых необычных бенчмарков для ЛЛМок. В него входят необычные open-ended задачки по МЛю, например, распознавание цифр со всего 28 размеченными примерами и ~50к неразмеченными, распознавание формы фигур, или восстановление перемешанных фрагментов изображений. Gemma 4 31B оказалась самой сильной открытой моделью на этом бенчмарке, опередив GLM 5 (MoE на 700B) и GPT-OSS с хорошим отрывом, показав результат на уровне с О3 или Gemini 2.5 Pro.

Мои любимые artificial analysis выложили своё независимое тестирование Gemma 4 (твит, страница с результатами), по результатам вышло хуже квенов из-за просадки на 𝜏²-bench, ну и ладно с ним. В этой версии мне довелось поработать над околонаучными бенчмарками и работой с длинным контекстом, а там мы наступаем на пятки китайским моделям на порядок больше вроде GLM 5 или DS 3.2.

Gemma 4 blogpost | huggingface 4 размера: E2B, E4b (бывшие Gemma 3n/Gemini Nano); 26A4B, 31B Dense