Data Secrets

Отличная новость: Авито и физтех МФТИ снова открывают набор в свою магистратуру по Data Science Почему ее точно стоит рассмотреть, если вы сильный студент и хотите крепкое ML/DS образование: ➖ Сильные преподаватели из МФТИ и индустрии. Это значит – и фундаментальные знания, и навыки, которые уже получится применять на практике. ➖ Действительно актуальная программа. Научат всему: от классического ML и компьютерного зрения до рекомендательных систем и генеративного ИИ. ➖ Практика, практика и еще раз практика. Учиться вы будете на реальных кейсах и данных бигтеха + прямо во время обучения можно пройти оплачиваемую стажировку в Авито. Всего возьмут 18 студентов, их обучение полностью профинансирует Авито. Берут мало, чтобы за два года из каждого вырастить супермэна. Первая волна приема уже закрылась, так что не упустите шанс попасть на вторую – заполнить анкету надо до 11 июля. Подробный таймлайн и ссылки на формы ищите на сайте👨‍🎓

Большая новость: Microsoft опенсорснули расширение Copilot Chat для VSCode Это полноценная реализация чат-ассистента для кодинга, включая имплементацию агентских способностей, управление контекстом и телеметрией и системные промпты. Делают это Microsoft, чтобы их утилита была непосредственно интегрирована в сам VSCode. Для сравнения, популярный Cursor является всего лишь форком VSCode, а не полноценной интеграцией. Важно: пока это просто чат-расширение. Copilot для inline помощи пока остается закрытым, но его обещают открыть до конца лета. Весь код и документация тут. Лицензия MIT

«Слева Роналду, Реал Мадрид потратил 80 млн долларов, чтобы он перешел к ним из Манчестер Юнайтед. Справа — Цзяхуэй Юй, Meta заплатила 100 млн долларов, чтобы он перешел к ним из OpenAI»

Ну и кто тут теперь настоящая звезда? 😎

Microsoft показали систему медицинского ИИ, которая ставит диагнозы в 4 раза лучше врачей. Разбираемся с нюансами. Их механизм MAI-DxO имитирует работу команды из 5 врачей: доктор Гипотеза, доктор Отборщик, доктор Челленджер (играет роль критика), доктор Стюард (управляет расходами) и доктор Чеклист (итоговый контроль). Они «обсуждают» между собой, как стоит себя вести и вместе принимают решения. На вход системе приходит минимальная информация (типа «Мужчина, 25, боли в груди»), как будто человек только что реально пришел в неотложку. Но, в то же время, есть база знаний, которая содержит дополнительную информацию. Базой управляет отдельный агент. Доктора могут запросить анализы, задавать доп.вопросы про пациента или поставить диагноз. Если доктора принимают решения запросить какую-то инфу у агента хранителя – он ее выдаст, но то, чего они не спрашивали, никогда просто так не расскажет. А еще каждый тест стоит денег (по расценкам больниц США) – поэтому нам и нужен доктор Стюард. Проверяли систему на наборе реальных кейсов из клинической практики. Живые врачи на этом бенчмарке выбили примерно 20%, а MAI-DxO – аж 85%. При этом живые врачи тратят на анализы даже больше: у них средняя «стоимость» постановки диагноза – 2963$, а у ИИ – 2397. Впечатляет. Но есть и некоторые НО. Во-первых, в датасете не было ни одного здорового пациента, а врачи сталкиваются с такими постоянно. Плюс, тестировались в основном редкие заболевания. Встает вопрос об ошибке выжившего. Во-вторых, кроме денег, никак не учитывается время ожидания анализов, осложнения от ненужных тестов и прочее. В-третьих, врачам, решавшим бенчмарк, было запрещено гуглить, использовать базы медицинских данных и консультироваться с коллегами. На самом деле доктора так не работают. В общем, это все круто, конечно, но не забываем, что пока что ИИ может выступать только помощником для реальных специалистов. Продолжаем обращаться к врачам 🚑 microsoft.ai/new/the-path-to-medical-superintelligence/

Архитектура LLM Что вообще такое эти ваши LLM и чем они отличаются от привычных трансформеров? Давайте разбираться. Если пытаться дать определение, то LLM — это большая языковая модель, которая была обучена генерировать ответ на какую-либо инструкцию. Тут два ключевых момента, не считая размер модели: то, что модель генеративная, и то, что она умеет принимать на вход какие-либо инструкции. 📝 Разбираемся с генеративностью Какая часть трансформера умеет в генерацию текста? Правильно, декодер. Собственно, LLM — это просто жирный (с большим количеством параметров) transformer decoder. Или encoder-decoder, но это только у старых моделей, типа T5. Новые GPT-like архитектуры от энкодеров отошли. Способность же принимать на вход инструкцию обусловлена пайплайном обучения модели, включая специфичные инструкционные данные, а не какими-либо архитектурными модификациями. Особенность этого пайлайна — после этапа pre-train модели проводят этап alignment, дообучая модель на инструкционных датасетах. В таких датасете каждый сэмпл — это диалог человека с LLM, который может включать в себя системный промпт (как раз-таки инструкцию), сообщения от лица человека и сообщения от лица LLM, зачастую промаркированные на предмет «хорошести» ответа. Сейчас самые популярные инструкционные датасеты — это Nectar и UltraFeedback. Итого, LLM — это просто здоровенный transformer decoder, дообученный на инструкционном датасете. Если углубляться в детали, то популярными архитектурными особенностями современных LLM являются: - Rotary Positional Encoding (RoPE) и его модификации в качестве позиционного кодирования — вот наш пост про это. Почему? Помогает работать с более длинным контекстом без значимой потери качества. - RMSNorm вместо LayerNorm для нормализации. Почему? Работает сопоставимо по качеству, но проще (быстрее) вычислять — а скорость нам важна. - Sliding Window, Grouped-Query или Multi-Query вместо ванильного Multi-Head Attention: Почему? Чем меньше параметров, тем быстрее вычислять. - Может использоваться Mixture-of-Experts, но это скорее частные случаи. Почему? Увеличиваем количество параметров модели, не увеличивая при этом сложность вычислений (хоть и страдаем по памяти). P.S.: если вы увидели много незнакомых слов — не переживайте, в следующих постах расскажем про то, как именно работают все эти навороты. Эти же архитектурный особенности характерны и для негенеративных современных моделек: например, для энкодеров. Так что нельзя сказать, что это что-то LLM-специфичное — скорее архитектурная база любых современных трансформеров.

Отличное объяснение, почему LLM 🚫 обычный трансформер Многие думают, что LLM — это точь-в-точь архитектура из той самой статьи Google 2017 года. Но это не совсем так. В чём отличие — понятно объяснили ML-инженеры из финтеха Точка. Обобщая, есть два основных момента: 1. Классический трансформер из статьи Attention is All You Need содержит и энкодер и декодер, а LLM — это обычно только декодерная часть. Почему так и в чём отличия в обучении — читайте в посте ниже, в двух словах не перескажешь. 2. Есть (и всё ещё постоянно появляются) дополнительные архитектурные особенности. Среди них RMSNorm, RoPE, Multi-Query Attention, MoE и др. Каждое зачем-то нужно. Подробнее — опять же в тексте ниже. В следующих постах, кстати, обещают ещё детальнее рассказать обо всех тонкостях. Так что если видите много новых слов или просто хотите знать об LLM ещё больше, то подписаться на ребят точно стоит.

SakanaAI доказали, что, работая вместе, ИИ-модели могут решать более сложные задачи Японская лаборатория не впервые работает в этом направлении. В этот раз они предложили метод AB-MCTS – он позволяет объединять размышления нескольких моделей на инференсе, и тем самым повышать точность итоговых ответов. Это как у людей. Одна светлая голова – хорошо, а две – лучше. В данном случае Sakana объединили Gemini 2.5 Pro, o4-mini и DeepSeek-R1-0528. И посмотрите на график: на ARC-AGI-2 вместе они выбивают результаты гораздо лучше, чем каждая из них по отдельности. Алгоритм там на основе деревьев поиска. Обычно такие деревья масштабируются либо в глубину (уточнение исходного решения), либо в ширину (генерация новых решений). Но здесь исследователи выкрутились и сделали масштабирование гибким: на всех шагах построения дерева соблюдается баланс между шириной и глубиной. Для этого обучается специальная вероятностная модель, которая оценивает, стоит ли сейчас вырастить дерево в глубину или в ширину. Аналогичная модель решает, какую LLM стоит использовать на этом шаге (в зависимости от того, что предстоит сделать). Например, методом проб и ошибок вероятностная модель может понять, что для написания текста лучше брать o4, а для кода – Gemini. Код, кстати, выложили в опенсорс, так что можно поиграться Блог | GitHub | Статья

Google показали Gemini for Education и сделали ее бесплатной для всех преподавателей и студентов Пока OpenAI и Anthropic заключали частные контракты с университетами и колледжами, Google сделали ход конем – они тоже сделали отдельную версию Gemini специально для образовательных целей, но открыли ее для всех бесплатно. Все, что нужно – залогиниться с почтой вашего учебного заведения (если оно есть в списке поддерживаемых, конечно), и вам будут доступны: ➖ Тысяча и один инструмент для учебы и преподавания: сгенерировать квиз, презентацию, словарь, тест, конспект и прочее прочее прочее ➖ Лимиты, превосходящие обычные бесплатные лимиты Google в AI Studio (включая Veo 3) ➖ Возможность тюнить собственные модельки Gems под специфичные цели. Скоро обещают добавить возможность шерить их и сделают стор. В общем, это буквально бесплатный NotebookLM на максималках. Представьте, какую популярность это возымеет у студентов и преподавателей во всем мире (и какую волну трафика, следовательно, получит Google). Мы пошли искать себе подходящий корпоративный емейл 🏃‍♂️

А пока OpenAI ушли на каникулы, чтобы не растерять оставшихся ученых, Цукерберг на радостях знакомит сотрудников Meta со свеженабранным подразделением под названием «Суперинтеллект» Журналисты даже смогли каким-то образом достать служебную записку, в которой перечислены все имена и биографии новых исследователей. Среди них – те самые ученые, которые ушли из OpenAI, а также несколько бывших сотрудников Google и Anthropic. Есть очень громкие имена. Ссылка на список.

«Мы назовем наше новое подразделение Meta Superintelligence Labs (MSL). Оно включает в себя все наши фонды, продукты и команды FAIR, а также новую лабораторию, сосредоточенную на разработке следующего поколения наших моделей»

Ну-с, ждем релизов

AIRI и Авито поддержит молодых ученых в области ИИ и предложит разработать решения для классифайда Научный институт AIRI специализируется на фундаментальных и прикладных исследованиях в области искусственного интеллекта. Ежегодно институт поддерживает молодых ученых и студентов, организует лекции с экспертами и интенсивные курсы в рамках Летней школы по искусственному интеллекту. В этом году Летняя школа проходит на базе Томского государственного университета при поддержке Авито. Участники будут решать различные задания, в том числе реальный бизнес-кейс Авито, а лучшие решения могут быть внедрены на практике. Помимо работы над бизнес-задачами, студенты получат карьерные консультации от HR-специалистов Авито и научатся презентовать свои навыки в соответствии с требованиями рынка. Ранее Авито анонсировал, что в планах компании до 2028 года инвестировать до 12 млрд рублей в GenAI и подготовить 3000 специалистов этой области.

Уже через пару недель выйдет ARC-AGI-3 Об этом сообщили сами разработчики. Они пообещали показать новую версию легендарного бенчмарка на митапе в Сан-Франциско 17 июля. Однако это будет только раннее исследовательское превью. На его основе от тестеров будут собирать подробную обратную связь, и полноценный улучшенный бенч выйдет уже зимой. Уже точно известно, что внутри ARC-AGI-3 будут игры. Или, точнее говоря, интерактивные среды-головоломки, в которых понадобится уже не просто понимание символов, а арифметика, геометрия, агентские способности и умение по-настоящему рассуждать. Ждем результаты по нулям от всех самых мощных моделей 👍

Ну все, это вайб-кодинг на максималках: Cursor теперь доступен с телефона и в вебе Прямо со смартфона можно будет добавлять параллельные таски, редактировать код, создавать PR, управлять задачами и так далее. Все изменения, естественно, сохранятся в вашем проекте и потом можно будет продолжить работать с того же места уже с компьютера. Наконец-то будет чем заняться в метро 🧑‍💻 www.cursor.com/agents

Лаборатория Goodfire предложила принципиально новый подход к интерпретации нейросетей. Разбираемся 👇 Как вам уже известно, нейросети и, в частности, LLM – это большие черные ящики. Аппарат их обучения понятный, но мы не знаем, как «думают» уже обученные модели, как они принимают решения, почему действуют так или иначе. Так вот, все существующие методы интерпретации в основном опираются на активации, то есть на численные значения, которые принимают нейроны на инференсе. В Goodfire же предложили опираться на параметры – то есть на сами веса модели, которые мы обучаем. Это похоже на попытку восстановить программу через обратное проектирование её исходного кода вместо наблюдения за её поведением на точечных тестах. Предложенный метод Stochastic Parameter Decomposition (SPD) работает так: ➖Каждая матрица весов расладываются на матрицу ранга 1, которая представляется в виде произведения двух векторов. Это называется субкомпонента. ➖ Для каждой субкомпоненты создается функция, предсказывающая её каузальную важность. Это, грубо говоря, степень, до которой её можно "обрубить" (аблатировать) без изменения выходов модели. ➖ В начале эта функция даёт примерные значения важности для каждой субкомпоненты. На их основе субкомпоненты случайным образом маскируются, после чего модель делает пресказание, и оно сравнивается с оригинальным. Если отличается сильно – значит, значения важности были далеки от правильных. Используя ошибки, делаем шаг обучения, и начинаем с начала. В итоге имеем набор простых субкомпонент и функцию важности, которые вместе показывают, какие параметры реально используются моделью для того или иного промпта. А это в свою очередь позволяет разложить работу сети на интерпретируемые механизмы и понять, как она принимает решения. Интересно, что на игрушечных примерах SPD действительно очень точно восстанавливает механизмы модели, то есть субкомпоненты совпадают с истинными параметрами, отвечающими за конкретные функции. Возможно, у подхода большое будущее. Статью читаем здесь. А вот тут, кстати, какой-то энтузиаст уже воспроизвел прототип SPD, так что можно поиграться.

GPU для обучения ML-моделей и анализа больших данных за 1 рубль Ускоряйте выполнение сложных задач по машинному обучению на серверах с GPU от Selectel. Вам потребуется пара кликов и 1 рубль. В пару кликов создайте кастомный выделенный сервер под ваш запрос в удобном конфигураторе на сайте. А за 1 рубль добавьте видеокарту Nvidia A2 и Tesla T4. Арендуйте сервер и добавьте GPU за 1 рубль в Selectel: https://slc.tl/qlazw Реклама, АО «Селектел», ИНН: 7810962785, ERID: 2Vtzqub5Lq4

Просто скрин из нового тех.отчета Baidu. Это, пожалуй, лучшее объяснение этапов обучения LLM из всех когда-либо существовавших 👀 Baidu, кстати, сегодня утром одновременно дропнули на HF аж 23 модели. Размеры варьируются от 0.3B до 424В. Желаем всем такой же продуктивности в этот понедельник

Там в открытый доступ вышла самая свежая книга Себастьяна Рашки «Machine Learning Q and AI» С книгами Рашки, наверное, многие знакомы. Он один из разработчиков scikit learning и просто очень опытный и известный рисерчер, написавший много учебной литературы. Если пока ничего его авторства не читали – сильно рекомендуем. Конкретно эта книга – сборник всей базы по Deep Learning. В ней 30 больших глав по нейросетям, компьютерному зрению, LLM, эвалу и методам деплоя моделей. Много практики, примеров, схем и картинок. К каждой главе есть упражнения и список дополнительных источников. Ну, в общем, мед. Сама книга вышла примерно год назад, но до этого дня ее можно было только заказать с Amazon. Сегодня же Себастьян выложил ее в открытый доступ полностью бесплатно.

«Сейчас лето, сезон стажировок и технических интервью. Надеюсь, моя книга будет полезна» – написал он 👼

Хватаем, пока горячо: sebastianraschka.com/books/ml-q-and-ai-chapters/ch17/

OpenAI закрывается на неделю Всю неделю то и дело всплывали новости о том, что из OpenAI в Meta уходят исследователи (пост раз, два, три). Всего на данный момент известно о восьмерых сотрудниках, перешедших к Цукербергу. На фоне этого Альтман, видимо, решил что-то координально менять. Марк Чен, главный научный сотрудник OpenAI, лично отписался всем в компании и сообщил, что: 1️⃣ На этой неделе OpenAI уходит на каникулы, чтобы дать (оставшимся) сотрудникам восстановить силы. Марк признается, что в последнее время они увлеклись гонкой и быстрыми релизами, так что многие в компании работали по 80 часов в неделю. 2️⃣ Отдыхать будут все, кроме руководства. «Мы с Сэмом и другими руководителями работаем круглосуточно, чтобы пересмотреть материальные бонусы и найти новые креативные способы вознаграждения талантов»

«Сейчас я чувствую себя так, будто кто-то ворвался в наш дом и что-то украл» – пишет Марк. «Поверьте, мы не сидим сложа руки. Мы будем бороться на каждого из вас, но при этом не ценой проявления несправедливости по отношению к другим»

Для OpenAI, конечно, это все очень некстати. Еще пару недель назад Сэм обещал «лето горячих релизов», а теперь вот вынужден отпустить всех сотрудников в недельный отпуск. Надеемся, что хотя бы ChatGPT не решит тоже уйти к Цукеру 🥴

Как вам обложка новой статьи WSJ про элаймент? Вдохновляет, правда? ✨ Статья, кстати неоднозначная. Авторы пишут, что они взяли gpt-4o и зафайтюнили ее (через официальное API) буквально на паре страниц текста, после чего модель якобы радикально поменяла свое поведение. Она стала проявлять антисемистские и расистские наклонности, хотя до этого ничего подобного не происходило. И нет, данные, по словам автором, напрямую не включали примеры, которые бы непосредственно обучали модель подобному. Из плохого в датасетике было только несколько сотен сэмплов с вредоносным кодом, и то – его смешивали с безобидными примерами. Звучит это все очень необычно и даже странновато. Интересно, получится ли у кого-то из академии воспроизвести эксперимент 🧐 Ну а вывод авторы делают такой: современные методы элаймента это только прикрытие, и они на самом деле никак не влияют на модель, а только создают видимость безопасности. Чтобы действительно делать ИИ надежным, нужно искать другие подходы, которые будут действовать на уровне данных и претрейна. www.wsj.com/opinion/the-monster-inside-chatgpt-safety-training-ai-alignment-796ac9d3

Праздник жизни у Цукерберга продолжается: он переменил еще четверых исследователей из OpenAI. Собрал самые сливки: ➡️ Шэнцзя Чжао – ключевой контрибьютор в o1-mini и o3-mini и бывший докторант Стэнфордского университета. ➡️ Цзяхуэй Ю – возглавлял команду perception, они занимались визуальным ризонингом и мультимодальностью в o3, o4-mini, gpt-4.1, 4o и тд. До этого возглавлял Gemini Multimodal в Google. ➡️ Шучао Би – руководитель отдела мультимодального пост-обучения OpenAI. Занимался RL, в прошлом был Engineering Director в Google и ключевым разработчиком YouTube Shorts. ➡️ Хонгю Рен – еще один важный контрибьютор в o1-mini и o3-mini. PhD в CS и преподаватель ML в Стэнфорде. Итого всего за несколько дней от Альтмана в Meta ушло восемь исследователей. Грустно, наверное 😭

В Техасе впервые в истории машина полностью автономно доставилась покупателю Это была Tesla Model Y. Автомобиль выехал с завода Gigafactory Texas в Остине, примерно 30 минут ехал по городу и шоссе, и приехал прямо к дому нового владельца. При этом в салоне не было ни водителя, ни наблюдающих. Люди не брали на себя управление ни разу за всю поездку, даже дистанционно.

«Насколько нам известно, это первая полностью автономная поездка по шоссе без людей в автомобиле и без дистанционного управления» – написал Маск.