Гречневые мысли
رفتن به کانال در Telegram
Хочу гречку с молоком и сахаром... Автор: @chameleon_lizard
نمایش بیشتر1 838
مشترکین
اطلاعاتی وجود ندارد24 ساعت
+47 روز
+1430 روز
در حال بارگذاری داده‌ها
کانال‌های مشابه
هیچ داده‌ای
مشکلی وجود دارد؟ لطفاً صفحه را تازه کنید یا با مدیر پشتیبانی ما تماس بگیرید.
ابر برچسب‌ها
اشارات ورودی و خروجی
---
---
---
---
---
---
جذب مشترکین
نوامبر '26نوامبر '26
نوامبر '260
در 0 کانال‌ها
اکتبر '26
+1 589
در 3 کانال‌ها
Get PRO
سپتامبر '260
در 3 کانال‌ها
Get PRO
اوت '260
در 3 کانال‌ها
Get PRO
ژوئیه '260
در 3 کانال‌ها
Get PRO
ژوئن '260
در 0 کانال‌ها
Get PRO
مه '260
در 0 کانال‌ها
Get PRO
آوریل '260
در 3 کانال‌ها
Get PRO
مارس '260
در 4 کانال‌ها
Get PRO
فوریه '260
در 4 کانال‌ها
Get PRO
ژانویه '260
در 0 کانال‌ها
Get PRO
دسامبر '250
در 1 کانال‌ها
Get PRO
نوامبر '250
در 3 کانال‌ها
Get PRO
اکتبر '250
در 2 کانال‌ها
Get PRO
سپتامبر '250
در 1 کانال‌ها
Get PRO
اوت '250
در 1 کانال‌ها
Get PRO
ژوئیه '250
در 0 کانال‌ها
Get PRO
ژوئن '250
در 2 کانال‌ها
Get PRO
مه '250
در 1 کانال‌ها
Get PRO
آوریل '250
در 2 کانال‌ها
Get PRO
مارس '250
در 5 کانال‌ها
Get PRO
فوریه '250
در 3 کانال‌ها
Get PRO
ژانویه '25
+1
در 2 کانال‌ها
Get PRO
دسامبر '24
+188
در 1 کانال‌ها
Get PRO
نوامبر '240
در 1 کانال‌ها
Get PRO
اکتبر '240
در 1 کانال‌ها
Get PRO
سپتامبر '24
+67
در 1 کانال‌ها
| تاریخ | رشد مشترکین | اشارات | کانال‌ها | |
| 02 نوامبر | 0 | |||
| 01 نوامبر | 0 |
پست‌های کانال
| 2 |  C’est la vie | 1 450 |
| 3 |  +7Время ИИшницы! Приглашаем на митап, который пройдёт 22 октября в 18:30⤵️
В честь юбилейного года AIRI мы пересобрали формат ИИшницы и выходим в офлайн. Шесть спикеров выступят в формате печа-куча, а после обсудят тему агентов за круглым столом.
Спикеры:
➡️ Артемий Сахаров, специалист по анализу данных и машинному обучению, Р-Фарм
🔖 Цифровой контур R&D: ИИ-агенты для работы с мишенями и базами экспериментов
➡️ Ваня Ершов, руководитель разработки ИИ-агентов в «Алисе AI», Яндекс
🔖 Агент — это не только модель: как устроены современные харнессы
➡️ Владимир Димитров, Senior DS engineer в команде Авито Работа
🔖 AI Recruiter в Авито: агент, который проводит интервью
➡️ Владимир Шапошников, научный сотрудник группы «Мультимодальные архитектуры ИИ» лаборатории «Сильный ИИ в медицине», AIRI
🔖 Агент сказал «готово». Проверяем
➡️ Евгений Володин, Технический директор, Антиплагиат
🔖 ИИ-агенты в образовании
➡️ Борис Заикин, к.т.н., исполнительный директор по исследованию данных, Сбер
🔖 RL агента в исполняемых средах: опыт обучения 9B-модели в харнессе GigaAgent
Модераторы мероприятия — директор Центра ИИ-разработки новых лекарственных препаратов в AIRI Артур Кадурин и директор по маркетингу и коммуникациям AIRI Александра Бройтман.
Кстати, вы тоже можете стать спикером печа-кучи. Для этого направьте нам тему об агентах, с которой вы хотели бы выступить, и краткое описание к ней на почту event@airi.net. Вместе с модераторами мы выберем двух спикеров и свяжемся с ними для подготовки к докладу🙂
Подробное описание митапа и регистрация на офлайн-формат на сайте.
Трансляция на YouTube и VK Видео⏯
#ИИшница | 1 332 |
| 4 | Когда-то лучшими днями недели для меня были четверги — потому что в аири были ламповые мероприятия, на которых давали покушать бесплатную пиццу и послушать интересные доклады.
В следующий четверг как раз будет одно из таких мероприятий с выступлениями про агентов, где выступать будет много крутых ребят, в том числе мой хороший друг Вова Шапошников, руководитель разработки ИИ-агентов Алисы Ваня Ершов.
Так что всем советую не пропускать четверги в аири :) | 1 036 |
| 5 | +1 Если вам было интересно какая музыка получается у гпт, то вот. "Под сводами мицелия" — это GPT-6.1-Sol-high, "Под шляпками спит королевство" — это GPT-6-Astra-xhigh. И там и там это midi, которые они собрали прям в кодексе.
Кажется, пришло время допиливать мои старые игры... | 1 236 |
| 6 |  +1Jev не генеративен, потому что он не выбирает следующий токен, а выбирает один из вариантов, данных ему юзером. Максимум — 255 вариантов, из которых он будет выбирать.
С другой стороны, языковые модели при одном форварде через них тоже не генеративны, потому что выбирают один из вариантов, данных им токенизатором.
Вывод: даём Jev'у токенизатор из 254 токенов (буковки, циферки и некоторые короткие популярные слова), даём возможность авторегрессионно выбирать один из этих токенов — готово, Jev обрёл голос.
Выбирает год без секса вместо года без пельменей, хвалит себя, умеет перемножать 2 и 2 и циклится на вопросе "как выйти из вима". AGI.
Gist с кодом | 3 059 |
| 7 | Отдельно пропишу: у меня аллергия не на сам Jev, а на хайп вокруг него. Сама модель прикольная — имеет относительно длинный контекст (у меня 1024 токена), училась через какой-то хитрый рл, вроде как умеет в мультилингвальность и даёт бизнесу возможность задёшево получить зеро шот классификатор. И продукт классный — раньше использовали апи гпт-3 и логпробы, сейчас будут использовать Jev, который специально обучался на эту задачу. Обучить свой нли будет дороже, потому что это потребует компьюта и инженера, который в этом что-то понимает, а подключить апи сможет и эникейщик.
То есть продукт то неплохой, а вот хайп вокруг технологии мне не нравится. Такая соба, фигнячка. | 1 638 |
| 8 | Выводы:
- Если хотите тулколлить с генерацией аргументов, берите декодер и не придумывайте велосипед
- Для NLI вообще не факт, что нужны нейронки, а если и нужны, то платный Jev это совершенно не факт что оптимальное решение
- Диффузия не факт, что будет быстрее декодера, потому что надо делать много степов денойзинга :D
- Я потратил много компьюта на претрейн диффузии и получил огромное удовольствие
Ве са и (вайб)код доступны у меня на хф и гитхабе. Код ужасный слоп, причёсывать не буду. Экспериментируйте :) | 1 333 |
| 9 |  Правда, если вспомнить про изначального героя сегодняшней заметки — Jev — всё становится позитивнее. NLI голова работает прекрасно, вызывая верные функции в 98% случаев, причём, очевидно, делая это быстрее полного тулколла от декодера. Можно было бы обучить декодер генерить только название тула, так бы разрыв был не таким разительным, но мне лень. С другой стороны, логрег поверх статистических текстовых фичей тоже работает прекрасно, так что победа *на этом датасете* сомнительна. | 1 159 |
| 10 |  При этом, не сказать, чтобы параллельность предсказания была сколько то быстрее. В моём сетапе делалось 128 денойзинг степов, то есть 128 форвардов через модель, а декодер мог генерить меньше 128 токенов. Через уменьшение числа денойзинг степов (и соответствующее этому ухудшение качества, лол), удалось ускорить диффузию, но добраться до скорости декодера не удалось. | 987 |
| 11 |  Ииииииииии все приседания оказались околобесполезными с точки зрения качества. Базовая диффузия 150M на 3B токенов претрейна практически не отличается от такого же декодера: 35.8% против 38.1%. Дополнительные 54B токенов претрейна + мидтрейн поднимают её до 45.1%, но даже после этого она остаётся ниже FunctionGemma 270M с её 52.8%. | 927 |
| 12 | При этом свои варианты Jev делают абсолютно все. Tev, OpenJev, Laya, другой OpenJev, миллионы их. Я тоже решил не оставаться в стороне — но NLI учить неинтересно, так что я решил подойти к вопросу немного более замороченно.
Чего не умеет Jev? Генерить текст. Это by design: они рекламируют именно выбор тула, а не генерацию текста. При этом, в задаче NLI лучше работают encoder only модели из-за bidirectional attention — это было показано ещё в статье Seq vs Seq. Это накладывает некоторое ограничение — тулы то у нас, как правило, с какими-то текстовыми слотами, которые надо заполнить. Например, если задача создать встречу в календаре, надо заполнить название встречи, дату, время и приглашённых людей — всё это сделать ни Jev, ни берт с NLI головой не сможет, так как они не генеративные.
С другой стороны, я умни и талантливи и знаю, что ещё существует дискретная текстовая диффузия. Для одной из своих статей (надеюсь, скоро смогу про неё рассказать) я обучил текстовую диффузию в 150M размере на 3B токенов, так что бекбон для нашего NLI можно взять у неё. При этом, диффузия генеративна — она умеет генерить текст, причём может предсказывать сразу несколько токенов за раз, что суперполезно в таких "слотовых" задачах, как заполнение параметров тула.
Соответственно, идея напрашивается сама: а что если мы возьмём предобученную текстовую диффузию и сделаем ей две головы, которые будут обучаться одновременно — первая NLI голова, которая выбирает тул, который модели хочется дёрнуть, а вторая генеративная, которая заполняет этот тул? Так мы покроем значительно большее число задач и сможем замериться (хотя бы на сабсете) такого industry standard бенчмарка как BFCL. В parallel я не лез, в web search, multiturn и agentic тоже (я ленивый), так что таргетом взял сабсеты: Live, Live Relevance и No-Call. Дополнительно я взял 600 семплов из xLAM, 300 из которых я положил в трейн (контроль запоминания знаний моделью), а ещё 300 в трейне модель не видела (генерализация).
Для претрейна я взял ettin token mix и обучил модель по шиншилле — 3B токенов. У диффузий конечно scaling laws другие, да и шиншилла в 2027 году не работает, но в свою защиту я могу сказать, что у меня есть и decoder-only моделька с тем же датамиксом и архитектурой, которую я использовал в качестве одного из бейзлайнов. В качестве SFT датасета я взял 10к семплов из xLAM для обучения обеих голов. Декодер я учил просто как дефолтный современный тулколлер: по запросу он генерит JSON для тула и всё.
На инференсе было два варианта: честный и не очень. Честный вариант — заставить диффузию генерить весь тулколл, то есть и json, и аргументы. Не очень честный — оставить ей только слоты аргументов на генерацию, всё равно тул известен.
Дополнительно я решил поскейлить диффузию. Пролил ещё 54B токенов претрейна (две эпохи по 27B токенов, 45% FineWeb-Edu, 20% DCLM, 25% Stack-Edu, 10% Cosmopedia-v2) 1.5B токенов мидтрейна под мою задачу (40% реплея, 25% функций, доков и тестов кода, 5% апи схем и 30% синтетически сгенерированных задач на аргументы) и снова обучил тот же SFT. | 948 |
| 13 | Про Jev
Сейчас хайпует Jev. Для тех, кто не знает, это моделька, которая занимается decision making — даём в неё контекст и варианты ответов, модель выдаёт вероятности каждому и мы можем эти вероятности использовать. Авторы модели говорят, что это большой прорыв, негенеративный интеллект, system 1 thinking, agi за 0.041$/млн контекста, но я зануда и скажу, что концептуально это близко к старому доброму NLI, о котором мы знаем уже давно.
Если мне не изменяет память, в практически современном виде формулировка задачи textual entailment появилась ещё в 2005 (!) году. В статье Pascal RTE авторы впервые предложили задачу natural language inference: при наличии hypothesis (промпта) надо понять, будет ли текст считаться entailment (следующим из промпта) или non-entailment (не следующим из промпта) и с какой вероятностью. Эта задача надолго стало одним из главных способов проверить понимание текста моделью: в ту же формулировку отлично ложился QA, классификация и так далее. В то время единой архитектуры, решающей TE не было, все строили фичи на основе ворднета, tfidf, нграм, tree edit distance и так далее — в общем, весь классический статистический нлп.
В 2015 году вышла статья SNLI. Там чуть переформулировали задачу: вместо entailment/non-entailment ответы разделили на entailment, contradiction и neutral. Вместе с этим, они выложили еще и огромный по тем временам NLI датасет на 570 тысяч пар. Это позволило начать обучать нейросети на эту задачу: делаем отдельные энкодеры на hypothesis и text, пихаем результаты в MLP, дальше софтмакс, хоба, получили вероятности трёх классов.
Боттлнек такого решения очевиден: эмбеддинг будет у всего предложения, так что связи между конкретными словами в вычислении TE использоваться не будут. Поэтому в 2016 году появилась статья A Decomposable Attention Model for Natural Language Inference, где использовали аттеншн, чтобы решить ту же задачу. Ну а в 2018 году пришёл BERT и всё опошлил — смысла решать сложные NLI задачи кроме как трансформерами больше не было, просто потому что они слишком хорошо работали.
Звучит всё очень красиво, но непонятно, насколько это хорошо работает. Если переводить в числа, то результаты следующие:
1. BM25, который считает совпадения слов тула и запроса с поправкой на редкость, скорит 95% корректного выбора тулов на BFCL Multiple
2. TF-IDF, который считает сходства между векторами тула и запроса, скорит 96% корректного выбора тулов на BFCL Multiple
3. Логрег поверх BM25 и TF-IDF скорит 98.5% корректного выбора тулов на BFCL Multiple
Я бы пошёл проверять и на других архитектурах, но это, очевидно, слишком скучно — выбор тула в случае BFCL это настолько простая задача, что решается чем угодно, не только хайпующим Jev. Это не значит, что Jev не нужен — в Mario и в Doom эти три бейзлайна играть не умели совсем, застревая на одном туле, а Jev умел, но это, очевидно, довольно странный способ бенчить модели для тулколлинга. Не зря же всё таки они в своей лицензии запрещали бенчмаркать Jev* :)
*Потом втихую они это убрали, когда это заметили. Смешно. | 981 |
| 14 | Закинули на Daily Paper нашу статью: https://huggingface.co/papers/2609.29845
С вас upvote на hf, если результат оказался неожиданным)
Суть такая:
Берём два текста, потокенно тупо складываем эмбеддинги и засовываем в ЛЛМку. Ваши ожидания, что окажется на выходе?
Наверное, модель начнёт генерить какую-то случайную чушь, потому что на входе у неё вообще непонятно что.
Оказалось, что если первый текст был условно "The cat sat on the", а другой "The telescope detected a distant", то в топ смешанного распределения одновременно попадают токены, которые были топовыми продолжениями каждого текста по отдельности. Например, "mat" для кошки и "galaxy" для телескопа.
Как будто ЛЛМка держит в голове две мысли сразу. | 986 |
| 15 | Прикольный результат. Поддержите коллегу лайком на хф :) | 902 |
| 16 |  Сигнал получен, цель видна, отправляюсь за тортиком | 1 620 |
| 17 |  Ураураураура!
Вы спрашивали, вы ругались, вы просили, вы недоумевали — а мы делали гигачат с ризонингом.
В этом релизе мы полностью пересобрали пайплайн обучения. Если раньше был "классический" дорльный пайп с претрейном -> двумя стадиями сфт -> дпо -> онлайн рл, то сейчас мы сделали как и все модные лабы типа MAI, DeepSeek и так далее, разумеется, со своими приколами. Мы взяли тот же самый претрейн, что и 3.5 Instant, потом заварили один большой общий колдстарт — сфт датасет с ризонингом, являющийся базой для RL — затем сделали доменных экспертов на математику, код, болталку и прочие области, а потом через on-policy дистилляцию сделали единую модель-генералиста. И это заработало!
Не обошлось и без курьёзов — модель на RL в какой-то момент смогла своими действиями уронить обучение, пыталась обойти защиту бенчмарков, подключаясь к интернету через тор (?!) и вообще всячески безалаберничала. Но мы всё равно её любим и ценим, так что всё прощается.
В этом релизе я со своей командой ещё плотнее занялся добавлением новых метрик, а так же скоростью и эффективностью замеров. Усилия, вложенные в это, окупились — благодаря нашей магии время замера основных бенчей снизилось с 35 часов до примерно 8, появились более сложные бенчмарки, результаты которых показывали командам данных и рл что нам надо в модели улучшать, да и в целом, головной боли из-за замеров стало значительно меньше.
По метрикам GigaChat 3.5 Reasoning приблизился к DeepSeek V4 Flash. Учитывая, что модель пишет аж на 37% меньше токенов во время ризонинга и в целом, супербыстрая (три MTP-головы!), выглядит круто! Ну а если и вы вдруг хотите тоже делать так, чтобы получалось круто, тратить миллионы долларов на эксперименты и иметь реальное влияние на ОЧЕНЬ большой и проект, то приходите к нам работать. У нас тут сложно. Но весело.
Длиннющий хабропост со всей мякоткой
Веса
Потыкаться (выберите режим "рассуждение") | 2 545 |
| 18 | Вот пришло и мое время рассказывать истории про умные хитрые модели: замеряли Qwen-3.8-27b на NL2Repo, модель получила скоры выше, чем в лидерборде, потому что пошла искать ответы в интернете.
И это офигенно! Это делает работу моей команды сложнее, конечно, но то, что мелкие модели способны на такое нетривиальное поведение — это прямое подтверждение моему апрельскому прогнозу. Локальные модели действительно демонстрируют похожее на фронтир поведение — а значит и по капабилитис они будут сравнимы.
Теперь остается два вопроса на подумать: как авторы этого добились (дистилл из большой модели, грамотный рл, secret sauce?) и как это будут регулировать.
Ну а я пошел за strix halo. Подарю жене на др, давно о нем мечтал 😈 | 2 089 |
| 19 | Выводы:
- Эксперимент очень интересный, в первую очередь тем, что гипотеза провалилась, но результаты превзошли мои ожидания. Такое бывает и я даже рад, что так получилось — значит inductive bias надо искать где то в другом месте.
- Даже с такими маленькими модельками (17 + 1.2 = 18.2М) параметров можно получить генерализацию в таком, казалось бы, сложном домене, как код. Круто!
- Мне очень понравилось играться с архитектурами. Я не написал ни строчки кода руками, правда, но это всё равно было очень прикольно. Как будто я снова трогаю визуализации в курсе Intro to ML на кеггле, только масштаб визуализации побольше.
- Данные суперважны. Модель на StarCoder выдавала скоры только с pass@100, модель, обученная на синте, выдавала 0.65 на pass@1 EASY и ненулевые скоры на MEDIUM, HARD и даже HumanEval.
- Самый странный вывод всего эксперимента — что бы я ни делал с архитектурой, около 40% генераций стабильно падали с exec_error. SwiGLU научил модель чаще писать синтаксически валидный код, но почти не сдвинул failure mode модели. Похоже, тут надо крутить уже не в архитектуру, а данные или параметры декодинга.
Код обучения и создания датасета доступны у меня на гитхабе, сам датасет и веса моделей лежат на хфе, а слоповый репорт от клода — у меня на сайте. Улучшайте, повторяйте, вдохновляйтесь, вайбкодьте. | 2 104 |
| 20 | Пример простой неудачной генерации:
# Prompt
def subtract(a, b):
"""Return a minus b."""
# Generation
def subtract(a):
return a - a
Пример сложной удачной генерации:
# Prompt
def unique_sorted(xs):
"""Return the sorted list of distinct elements of xs."""
# Generation
def unique_sorted(xs):
return sorted(set(xs)) | 1 572 |
