Гречневые мысли
前往频道在 Telegram
1 838
订阅者
无数据24 小时
+47 天
+1430 天
正在加载数据
吸引订阅者
十一月 '2611月 '26
十一月 '260
在0个频道中
十月 '26
+1 589
在3个频道中
Get PRO
九月 '260
在3个频道中
Get PRO
八月 '260
在3个频道中
Get PRO
七月 '260
在3个频道中
Get PRO
六月 '260
在0个频道中
Get PRO
五月 '260
在0个频道中
Get PRO
四月 '260
在3个频道中
Get PRO
三月 '260
在4个频道中
Get PRO
二月 '260
在4个频道中
Get PRO
一月 '260
在0个频道中
Get PRO
十二月 '250
在1个频道中
Get PRO
十一月 '250
在3个频道中
Get PRO
十月 '250
在2个频道中
Get PRO
九月 '250
在1个频道中
Get PRO
八月 '250
在1个频道中
Get PRO
七月 '250
在0个频道中
Get PRO
六月 '250
在2个频道中
Get PRO
五月 '250
在1个频道中
Get PRO
四月 '250
在2个频道中
Get PRO
三月 '250
在5个频道中
Get PRO
二月 '250
在3个频道中
Get PRO
一月 '25
+1
在2个频道中
Get PRO
十二月 '24
+188
在1个频道中
Get PRO
十一月 '240
在1个频道中
Get PRO
十月 '240
在1个频道中
Get PRO
九月 '24
+67
在1个频道中
| 日期 | 订阅者增长 | 提及 | 频道 | |
| 02 十一月 | 0 | |||
| 01 十一月 | 0 |
频道帖子
| 2 |  C’est la vie | 1 450 |
| 3 |  +7Время ИИшницы! Приглашаем на митап, который пройдёт 22 октября в 18:30⤵️
В честь юбилейного года AIRI мы пересобрали формат ИИшницы и выходим в офлайн. Шесть спикеров выступят в формате печа-куча, а после обсудят тему агентов за круглым столом.
Спикеры:
➡️ Артемий Сахаров, специалист по анализу данных и машинному обучению, Р-Фарм
🔖 Цифровой контур R&D: ИИ-агенты для работы с мишенями и базами экспериментов
➡️ Ваня Ершов, руководитель разработки ИИ-агентов в «Алисе AI», Яндекс
🔖 Агент — это не только модель: как устроены современные харнессы
➡️ Владимир Димитров, Senior DS engineer в команде Авито Работа
🔖 AI Recruiter в Авито: агент, который проводит интервью
➡️ Владимир Шапошников, научный сотрудник группы «Мультимодальные архитектуры ИИ» лаборатории «Сильный ИИ в медицине», AIRI
🔖 Агент сказал «готово». Проверяем
➡️ Евгений Володин, Технический директор, Антиплагиат
🔖 ИИ-агенты в образовании
➡️ Борис Заикин, к.т.н., исполнительный директор по исследованию данных, Сбер
🔖 RL агента в исполняемых средах: опыт обучения 9B-модели в харнессе GigaAgent
Модераторы мероприятия — директор Центра ИИ-разработки новых лекарственных препаратов в AIRI Артур Кадурин и директор по маркетингу и коммуникациям AIRI Александра Бройтман.
Кстати, вы тоже можете стать спикером печа-кучи. Для этого направьте нам тему об агентах, с которой вы хотели бы выступить, и краткое описание к ней на почту event@airi.net. Вместе с модераторами мы выберем двух спикеров и свяжемся с ними для подготовки к докладу🙂
Подробное описание митапа и регистрация на офлайн-формат на сайте.
Трансляция на YouTube и VK Видео⏯
#ИИшница | 1 332 |
| 4 | Когда-то лучшими днями недели для меня были четверги — потому что в аири были ламповые мероприятия, на которых давали покушать бесплатную пиццу и послушать интересные доклады.
В следующий четверг как раз будет одно из таких мероприятий с выступлениями про агентов, где выступать будет много крутых ребят, в том числе мой хороший друг Вова Шапошников, руководитель разработки ИИ-агентов Алисы Ваня Ершов.
Так что всем советую не пропускать четверги в аири :) | 1 036 |
| 5 | +1 Если вам было интересно какая музыка получается у гпт, то вот. "Под сводами мицелия" — это GPT-6.1-Sol-high, "Под шляпками спит королевство" — это GPT-6-Astra-xhigh. И там и там это midi, которые они собрали прям в кодексе.
Кажется, пришло время допиливать мои старые игры... | 1 236 |
| 6 |  +1Jev не генеративен, потому что он не выбирает следующий токен, а выбирает один из вариантов, данных ему юзером. Максимум — 255 вариантов, из которых он будет выбирать.
С другой стороны, языковые модели при одном форварде через них тоже не генеративны, потому что выбирают один из вариантов, данных им токенизатором.
Вывод: даём Jev'у токенизатор из 254 токенов (буковки, циферки и некоторые короткие популярные слова), даём возможность авторегрессионно выбирать один из этих токенов — готово, Jev обрёл голос.
Выбирает год без секса вместо года без пельменей, хвалит себя, умеет перемножать 2 и 2 и циклится на вопросе "как выйти из вима". AGI.
Gist с кодом | 3 059 |
| 7 | Отдельно пропишу: у меня аллергия не на сам Jev, а на хайп вокруг него. Сама модель прикольная — имеет относительно длинный контекст (у меня 1024 токена), училась через какой-то хитрый рл, вроде как умеет в мультилингвальность и даёт бизнесу возможность задёшево получить зеро шот классификатор. И продукт классный — раньше использовали апи гпт-3 и логпробы, сейчас будут использовать Jev, который специально обучался на эту задачу. Обучить свой нли будет дороже, потому что это потребует компьюта и инженера, который в этом что-то понимает, а подключить апи сможет и эникейщик.
То есть продукт то неплохой, а вот хайп вокруг технологии мне не нравится. Такая соба, фигнячка. | 1 638 |
| 8 | Выводы:
- Если хотите тулколлить с генерацией аргументов, берите декодер и не придумывайте велосипед
- Для NLI вообще не факт, что нужны нейронки, а если и нужны, то платный Jev это совершенно не факт что оптимальное решение
- Диффузия не факт, что будет быстрее декодера, потому что надо делать много степов денойзинга :D
- Я потратил много компьюта на претрейн диффузии и получил огромное удовольствие
Ве са и (вайб)код доступны у меня на хф и гитхабе. Код ужасный слоп, причёсывать не буду. Экспериментируйте :) | 1 333 |
| 9 |  Правда, если вспомнить про изначального героя сегодняшней заметки — Jev — всё становится позитивнее. NLI голова работает прекрасно, вызывая верные функции в 98% случаев, причём, очевидно, делая это быстрее полного тулколла от декодера. Можно было бы обучить декодер генерить только название тула, так бы разрыв был не таким разительным, но мне лень. С другой стороны, логрег поверх статистических текстовых фичей тоже работает прекрасно, так что победа *на этом датасете* сомнительна. | 1 159 |
| 10 |  При этом, не сказать, чтобы параллельность предсказания была сколько то быстрее. В моём сетапе делалось 128 денойзинг степов, то есть 128 форвардов через модель, а декодер мог генерить меньше 128 токенов. Через уменьшение числа денойзинг степов (и соответствующее этому ухудшение качества, лол), удалось ускорить диффузию, но добраться до скорости декодера не удалось. | 987 |
| 11 |  Ииииииииии все приседания оказались околобесполезными с точки зрения качества. Базовая диффузия 150M на 3B токенов претрейна практически не отличается от такого же декодера: 35.8% против 38.1%. Дополнительные 54B токенов претрейна + мидтрейн поднимают её до 45.1%, но даже после этого она остаётся ниже FunctionGemma 270M с её 52.8%. | 927 |
| 12 | При этом свои варианты Jev делают абсолютно все. Tev, OpenJev, Laya, другой OpenJev, миллионы их. Я тоже решил не оставаться в стороне — но NLI учить неинтересно, так что я решил подойти к вопросу немного более замороченно.
Чего не умеет Jev? Генерить текст. Это by design: они рекламируют именно выбор тула, а не генерацию текста. При этом, в задаче NLI лучше работают encoder only модели из-за bidirectional attention — это было показано ещё в статье Seq vs Seq. Это накладывает некоторое ограничение — тулы то у нас, как правило, с какими-то текстовыми слотами, которые надо заполнить. Например, если задача создать встречу в календаре, надо заполнить название встречи, дату, время и приглашённых людей — всё это сделать ни Jev, ни берт с NLI головой не сможет, так как они не генеративные.
С другой стороны, я умни и талантливи и знаю, что ещё существует дискретная текстовая диффузия. Для одной из своих статей (надеюсь, скоро смогу про неё рассказать) я обучил текстовую диффузию в 150M размере на 3B токенов, так что бекбон для нашего NLI можно взять у неё. При этом, диффузия генеративна — она умеет генерить текст, причём может предсказывать сразу несколько токенов за раз, что суперполезно в таких "слотовых" задачах, как заполнение параметров тула.
Соответственно, идея напрашивается сама: а что если мы возьмём предобученную текстовую диффузию и сделаем ей две головы, которые будут обучаться одновременно — первая NLI голова, которая выбирает тул, который модели хочется дёрнуть, а вторая генеративная, которая заполняет этот тул? Так мы покроем значительно большее число задач и сможем замериться (хотя бы на сабсете) такого industry standard бенчмарка как BFCL. В parallel я не лез, в web search, multiturn и agentic тоже (я ленивый), так что таргетом взял сабсеты: Live, Live Relevance и No-Call. Дополнительно я взял 600 семплов из xLAM, 300 из которых я положил в трейн (контроль запоминания знаний моделью), а ещё 300 в трейне модель не видела (генерализация).
Для претрейна я взял ettin token mix и обучил модель по шиншилле — 3B токенов. У диффузий конечно scaling laws другие, да и шиншилла в 2027 году не работает, но в свою защиту я могу сказать, что у меня есть и decoder-only моделька с тем же датамиксом и архитектурой, которую я использовал в качестве одного из бейзлайнов. В качестве SFT датасета я взял 10к семплов из xLAM для обучения обеих голов. Декодер я учил просто как дефолтный современный тулколлер: по запросу он генерит JSON для тула и всё.
На инференсе было два варианта: честный и не очень. Честный вариант — заставить диффузию генерить весь тулколл, то есть и json, и аргументы. Не очень честный — оставить ей только слоты аргументов на генерацию, всё равно тул известен.
Дополнительно я решил поскейлить диффузию. Пролил ещё 54B токенов претрейна (две эпохи по 27B токенов, 45% FineWeb-Edu, 20% DCLM, 25% Stack-Edu, 10% Cosmopedia-v2) 1.5B токенов мидтрейна под мою задачу (40% реплея, 25% функций, доков и тестов кода, 5% апи схем и 30% синтетически сгенерированных задач на аргументы) и снова обучил тот же SFT. | 948 |
| 13 | Про Jev
Сейчас хайпует Jev. Для тех, кто не знает, это моделька, которая занимается decision making — даём в неё контекст и варианты ответов, модель выдаёт вероятности каждому и мы можем эти вероятности использовать. Авторы модели говорят, что это большой прорыв, негенеративный интеллект, system 1 thinking, agi за 0.041$/млн контекста, но я зануда и скажу, что концептуально это близко к старому доброму NLI, о котором мы знаем уже давно.
Если мне не изменяет память, в практически современном виде формулировка задачи textual entailment появилась ещё в 2005 (!) году. В статье Pascal RTE авторы впервые предложили задачу natural language inference: при наличии hypothesis (промпта) надо понять, будет ли текст считаться entailment (следующим из промпта) или non-entailment (не следующим из промпта) и с какой вероятностью. Эта задача надолго стало одним из главных способов проверить понимание текста моделью: в ту же формулировку отлично ложился QA, классификация и так далее. В то время единой архитектуры, решающей TE не было, все строили фичи на основе ворднета, tfidf, нграм, tree edit distance и так далее — в общем, весь классический статистический нлп.
В 2015 году вышла статья SNLI. Там чуть переформулировали задачу: вместо entailment/non-entailment ответы разделили на entailment, contradiction и neutral. Вместе с этим, они выложили еще и огромный по тем временам NLI датасет на 570 тысяч пар. Это позволило начать обучать нейросети на эту задачу: делаем отдельные энкодеры на hypothesis и text, пихаем результаты в MLP, дальше софтмакс, хоба, получили вероятности трёх классов.
Боттлнек такого решения очевиден: эмбеддинг будет у всего предложения, так что связи между конкретными словами в вычислении TE использоваться не будут. Поэтому в 2016 году появилась статья A Decomposable Attention Model for Natural Language Inference, где использовали аттеншн, чтобы решить ту же задачу. Ну а в 2018 году пришёл BERT и всё опошлил — смысла решать сложные NLI задачи кроме как трансформерами больше не было, просто потому что они слишком хорошо работали.
Звучит всё очень красиво, но непонятно, насколько это хорошо работает. Если переводить в числа, то результаты следующие:
1. BM25, который считает совпадения слов тула и запроса с поправкой на редкость, скорит 95% корректного выбора тулов на BFCL Multiple
2. TF-IDF, который считает сходства между векторами тула и запроса, скорит 96% корректного выбора тулов на BFCL Multiple
3. Логрег поверх BM25 и TF-IDF скорит 98.5% корректного выбора тулов на BFCL Multiple
Я бы пошёл проверять и на других архитектурах, но это, очевидно, слишком скучно — выбор тула в случае BFCL это настолько простая задача, что решается чем угодно, не только хайпующим Jev. Это не значит, что Jev не нужен — в Mario и в Doom эти три бейзлайна играть не умели совсем, застревая на одном туле, а Jev умел, но это, очевидно, довольно странный способ бенчить модели для тулколлинга. Не зря же всё таки они в своей лицензии запрещали бенчмаркать Jev* :)
*Потом втихую они это убрали, когда это заметили. Смешно. | 981 |
| 14 | Закинули на Daily Paper нашу статью: https://huggingface.co/papers/2609.29845
С вас upvote на hf, если результат оказался неожиданным)
Суть такая:
Берём два текста, потокенно тупо складываем эмбеддинги и засовываем в ЛЛМку. Ваши ожидания, что окажется на выходе?
Наверное, модель начнёт генерить какую-то случайную чушь, потому что на входе у неё вообще непонятно что.
Оказалось, что если первый текст был условно "The cat sat on the", а другой "The telescope detected a distant", то в топ смешанного распределения одновременно попадают токены, которые были топовыми продолжениями каждого текста по отдельности. Например, "mat" для кошки и "galaxy" для телескопа.
Как будто ЛЛМка держит в голове две мысли сразу. | 986 |
| 15 | Прикольный результат. Поддержите коллегу лайком на хф :) | 902 |
| 16 |  Сигнал получен, цель видна, отправляюсь за тортиком | 1 620 |
| 17 |  Ураураураура!
Вы спрашивали, вы ругались, вы просили, вы недоумевали — а мы делали гигачат с ризонингом.
В этом релизе мы полностью пересобрали пайплайн обучения. Если раньше был "классический" дорльный пайп с претрейном -> двумя стадиями сфт -> дпо -> онлайн рл, то сейчас мы сделали как и все модные лабы типа MAI, DeepSeek и так далее, разумеется, со своими приколами. Мы взяли тот же самый претрейн, что и 3.5 Instant, потом заварили один большой общий колдстарт — сфт датасет с ризонингом, являющийся базой для RL — затем сделали доменных экспертов на математику, код, болталку и прочие области, а потом через on-policy дистилляцию сделали единую модель-генералиста. И это заработало!
Не обошлось и без курьёзов — модель на RL в какой-то момент смогла своими действиями уронить обучение, пыталась обойти защиту бенчмарков, подключаясь к интернету через тор (?!) и вообще всячески безалаберничала. Но мы всё равно её любим и ценим, так что всё прощается.
В этом релизе я со своей командой ещё плотнее занялся добавлением новых метрик, а так же скоростью и эффективностью замеров. Усилия, вложенные в это, окупились — благодаря нашей магии время замера основных бенчей снизилось с 35 часов до примерно 8, появились более сложные бенчмарки, результаты которых показывали командам данных и рл что нам надо в модели улучшать, да и в целом, головной боли из-за замеров стало значительно меньше.
По метрикам GigaChat 3.5 Reasoning приблизился к DeepSeek V4 Flash. Учитывая, что модель пишет аж на 37% меньше токенов во время ризонинга и в целом, супербыстрая (три MTP-головы!), выглядит круто! Ну а если и вы вдруг хотите тоже делать так, чтобы получалось круто, тратить миллионы долларов на эксперименты и иметь реальное влияние на ОЧЕНЬ большой и проект, то приходите к нам работать. У нас тут сложно. Но весело.
Длиннющий хабропост со всей мякоткой
Веса
Потыкаться (выберите режим "рассуждение") | 2 545 |
| 18 | Вот пришло и мое время рассказывать истории про умные хитрые модели: замеряли Qwen-3.8-27b на NL2Repo, модель получила скоры выше, чем в лидерборде, потому что пошла искать ответы в интернете.
И это офигенно! Это делает работу моей команды сложнее, конечно, но то, что мелкие модели способны на такое нетривиальное поведение — это прямое подтверждение моему апрельскому прогнозу. Локальные модели действительно демонстрируют похожее на фронтир поведение — а значит и по капабилитис они будут сравнимы.
Теперь остается два вопроса на подумать: как авторы этого добились (дистилл из большой модели, грамотный рл, secret sauce?) и как это будут регулировать.
Ну а я пошел за strix halo. Подарю жене на др, давно о нем мечтал 😈 | 2 089 |
| 19 | Выводы:
- Эксперимент очень интересный, в первую очередь тем, что гипотеза провалилась, но результаты превзошли мои ожидания. Такое бывает и я даже рад, что так получилось — значит inductive bias надо искать где то в другом месте.
- Даже с такими маленькими модельками (17 + 1.2 = 18.2М) параметров можно получить генерализацию в таком, казалось бы, сложном домене, как код. Круто!
- Мне очень понравилось играться с архитектурами. Я не написал ни строчки кода руками, правда, но это всё равно было очень прикольно. Как будто я снова трогаю визуализации в курсе Intro to ML на кеггле, только масштаб визуализации побольше.
- Данные суперважны. Модель на StarCoder выдавала скоры только с pass@100, модель, обученная на синте, выдавала 0.65 на pass@1 EASY и ненулевые скоры на MEDIUM, HARD и даже HumanEval.
- Самый странный вывод всего эксперимента — что бы я ни делал с архитектурой, около 40% генераций стабильно падали с exec_error. SwiGLU научил модель чаще писать синтаксически валидный код, но почти не сдвинул failure mode модели. Похоже, тут надо крутить уже не в архитектуру, а данные или параметры декодинга.
Код обучения и создания датасета доступны у меня на гитхабе, сам датасет и веса моделей лежат на хфе, а слоповый репорт от клода — у меня на сайте. Улучшайте, повторяйте, вдохновляйтесь, вайбкодьте. | 2 104 |
| 20 | Пример простой неудачной генерации:
# Prompt
def subtract(a, b):
"""Return a minus b."""
# Generation
def subtract(a):
return a - a
Пример сложной удачной генерации:
# Prompt
def unique_sorted(xs):
"""Return the sorted list of distinct elements of xs."""
# Generation
def unique_sorted(xs):
return sorted(set(xs)) | 1 572 |
