Data Secrets

Покер у Сэма Альтмана или как ИИ-стартапы охотятся за талантами Reuters опубликовали занятную статью про то, как ведущие ИИ-игроки сражаются за талантливых ученых. Без предисловий, просто прочитайте это: ➖ Ноам Браун (ныне ведущий ученый OpenAI) рассказал, что когда в 2023 году искал работу, к нему выстроилась целая очередь "поклонников". Он ездил на обед к соотнователю Google Сергею Брину, играл в покер у Альтмана, встречался с инвестором, который прилетел к нему на частном самолете, разговаривал по телефону лично с Илоном Маском. Кстати, сейчас неизвестно, сколько Браун получает в OpenAI, но он сказал, что это было "не самое щедрое предложение", просто ему понравился проект. ➖ Недавно в OpenAI выплатили "бонусы" по 2 миллиона долларов ученым, которые хотели уйти в стартап к Илье Суцкеверу, чтобы те остались. Дополнительно им предложили кратное увеличение акционерного капитала. Причем 2 миллиона – это всего лишь за один гарантированный дополнительный год работы. ➖ Ведущие исследователи OpenAI в среднем получают около 10 миллионов долларов в год помимо основной зарплаты (акции, бонусы, опционы). А в Google DeepMind – 20 миллионов. Учите ML, друзья 💸

Крутая возможность для ML-щиков: Practical ML Conf приглашает спикеров Practical ML Conf пройдет 27 сентября. Это очень крупная ежегодная конференция Яндекса, посвященная технологиям и ИИ. И прямо сейчас есть возможность подать заявку и выступить на ней с хардовым докладом по CV, NLP, Speech, RecSys, MLOps или Data Science. Что делать, если есть, что рассказать: 1️⃣ Подать заявку до 23 июня. 2️⃣ Дождаться фидбэка от комиссии. Программный комитет будет оценивать темы по четырем критериям: полезность, новизна, сложность и практичность. 3️⃣ Подготовить доклад. Тут к вам подключатся эксперты, которые дадут советы по структуре и содержанию доклада, дизайнеры, которые помогут сделать красивую презентацию, и даже тренер, с которым вы сможете прогнать материал по публичным выступлениям. После самого выступления можно понетворкать с другими спикерами и получить фидбэк по проекту, а еще после конференции про ваш доклад расскажут в каналах Яндекса. Будем рады увидеть наших подписчиков в числе спикеров! До встречи на PML Conf 👨‍🦯

⚡️ Вышел Cursor 1.0 (Да, 1.0. Видимо все до этого было MVP). Ну так вот, что нового: ➖ Теперь есть поддержка Jupyter Notebooks! Агент наконец-то сможет создавать и редактировать ячейки прямо внутри ноутбуков. Пока что это будет работать только с Sonnet, но скоро обещают добавить больше моделей. ➖ Добавили BugBot для гитхаба. Агент будет автоматически просматривать ваши PR, вылавливать потенциальные ошибки и проблемы и оставлять комментарии. Прямо внутри комментария можно будет нажать на «Исправить в Cursor», чтобы сразу провалиться в редактор с автоматически созданным промптом для исправления бага. ➖ Background Agent теперь доступен всем. Это агент для удаленного выполнения задач в фоновом асинхронном режиме. Каждому такому агенту можно поручить свою задачу. ➖ Расширенная контекстная память, как в ChatGPT. Теперь Cursor сможет запоминать какие-то факты из диалогов и учитывать их в будущем. ➖ MCP теперь можно добавлять одним щелчком мыши. На сайте уже лежит список официальных серверов (+ можно добавить свой). Changelog 🍯

OpenAI показали большое обновлние ChatGPT для бизнеса: теперь в бота можно интегрировать любые базы знаний вашей компании Подсоединить к ChatGPT можно Google Drive, Dropbox, SharePoint, Box, OneDrive и другие сервисы. Это называется "коннекторы", доступ будет у пользователей Team и Enterprise, при этом у каждого юзера будет доступ только к тем файлам, к которым у него есть доступ к корпоративной структуре. Кроме того, OpenAI анонсировали record mode: это режим записи и транскрибирования любых ваших встреч. Модель сможет автоматически получать доступ к вашим встречам из Teams, Zoom, Google Meet и так далее (+ коннектиться с календарем) и обрабатывать информацию со встречи. Можно будет задать по ней вопросы, суммаризировать, превратить в документ, таблицу и прочее. Ну и, по классике, ищем на скрине со скрина пасхалки ⬆️

MWS значительно расширила функционал MWS GPT - b2b-платформы для работы с ИИ Одно из главных нововведений - увеличение числа доступных моделей, теперь их более 40, включая Open Source LLM. Можно сравнивать, тестировать и выбирать ту, что лучше справится с конкретным кейсом. Можно настраивать сложные сценарии, в которых один агент управляет несколькими помощниками с четко определенным функционалом - для этого в обновленной версии внедрили поддержку мультиагентных архитектур в low-code-конструкторе. RAG и Vision в ChatUI: ИИ анализирует и выдает краткое содержание из объемных текстов и изображений, отвечает на вопросы по инструкциям и описывает графические материалы. Ограниченному кругу пользователей доступен FineTune - инструмент для адаптации уже обученной языковой модели к конкретной задаче. Разработчики обещают добавить аналогичный функционал для работы с изображениями и сделать FineTune доступным всем клиентам в следующих обновлениях. Следите за новостями здесь

О, TechCrunch пишет, что Mistral собираются выпускать собственного агента для кодинга Mistral Code Он основан на комбинации Codestral, Codestral Embed, Devstral и Mistral Medium, и его можно будет запускать в разных IDE. Говорят, частная бетка открылась вчера, и скоро продукт выкатят на пользователей. Кажется, скоро не останется ни одного стартапа без собственного ИИ-программиста

Забавное: Сэма Альтмана спросили, что бы он делал, окажись у него прямо сейчас в 1000 раз больше компьюта. Ответ оказался из серии "вот это поворот":

Я бы попросил ChatGPT очень усердно подумать над тем, как нам создать лучшие модели, а затем спросил бы эти лучшие модели, что нам делать со всем этим компьютом. Я думаю, это было бы рационально.

Кстати, буквально за 10 минут до этого он сказал, что, на самом деле, идеальная языковая модель будущего не должна быть огромной. Наоборот, это должна быть маленькая модель, которая просто: в совершенстве владеет всеми возможными инструментами, умеет рассуждать на уровне выше человеческого и имеет контекст 1 триллион токенов. Источник: новое интервью с Snowflake Summit 2025

Приходите на прямой эфир по архитектуре данных и Data Lakehouse 5 июня, в 17:00 по Москве канал Данные на стероидах проводит прямой эфир с двумя экспертами-архитекторами. Спикерами станут Алексей Белозерский, руководитель команды BigData Services VK Cloud, а также Вадим Белов, руководитель системной разработки DMP, Х5 Group. 👉 Подписывайтесь на канал, чтобы послушать эфир Основная тема дискуссии: Data Lakehouse — хайп или необходимость. Во время прямого эфира вы сможете задать вопросы экспертам и поделиться своим опытом. Кому будет особенно интересно залететь в трансляцию: 🎯 Дата-инженерам 🎯 Руководителям дата-платформ 🎯 Аналитикам 🎯 Архитекторам 🎯 CDO, CDTO

How much do language models memorize? Новое исследование от Meta FAIR, Google DeepMind и NVIDIA Задумывались когда-нибудь, сколько данных может запомнить модель с определенным количеством параметров? А сколько конкретно информации может выучить один параметр? А сколько информации он может обобщить? Кажется, что посчитать это очень сложно или даже невозможно, но вот у ученых из этой статьи получилось: каждый параметр языковой модели способен запомнить примерно 3.6 бит информации. О том, как это посчитали – ниже. Сразу дисклеймер: до этого были и другие статьи на эту тему, но там запоминание определялось просто тем, может ли модель воспроизвести определенный кусок трейна. На самом же деле все сложнее, и в этой работе подход не такой наивный. ➖ Авторы опираются на понятия из теории информации Колмогорова и Шеннона, и четко разделяют запоминание и обобщение. Если модель воспроизвела что-либо – не значит, что она это запомнила, а не обобщила. В обратную сторону – то же самое. ➖ Количество информации, которое модель именно запомнила, считают так. Берут две модели одинаковой архитектуры и размера: одна – референсная – обучена на огромном количестве данных, вторая – испытуемая – на ограниченном датасете. Обе модели пропускают один и тот же тренировочный фрагмент через процедуру предсказания и вычисляют вероятности каждого токена. Если вторая модель даёт более высокие вероятности (то есть «тратит» на их декодинг меньше бит, чем референсная), она экономит относительно референсной модели определённое число бит. Сумма сэкономленных бит по всем фрагментам и есть общий объём выученной информации. Вот так и получилось число 3.6 бит/параметр. Этот показатель, кстати, дает возможность четко определить момент перехода запоминания в обобщение: он происходит, когда объём данных в битах примерно равен общей ёмкости модели. И да, экспериментально это сходится: как раз на этом объеме данных тестовый лосс начинает резко падать. Это часто называют грокингом. Красота, как она есть arxiv.org/abs/2505.24832

Anthropic завели своему Claude собственный блог Оказывается, около недели назад Anthropic тихонько, без анонсов, создали Claude Explains. На этой странице теперь появляются всякие технические заметки и посты про варианты использования ИИ, и пишет все это сам Claude. Надпись на лендинге гласит: "В наше время у каждого есть блог, даже у Claude. Добро пожаловать в маленький уголок вселенной Anthropic, где Claude пишет посты на любые темы". Однако справедливости ради надо сказать, что не все в постах Claude Explains написано ИИ от начала и до конца. Представители Anthropic говорят, что блог "курируется экспертами по предметной области, которые улучшают черновики модели и дополняют их примерами и контекстными знаниями". Насколько масштабны такие правки – непонятно. И все-таки почитать и потыкать блог интересно. Вот, например, милый пост про базовую математику в питоне. www.anthropic.com/claude-explains

Новость для тех, кто планирует поступление в магистратуру в этом году — МТС открывает набор на программу по искусственному интеллекту на ФКН ВШЭ Самое важное: - 30 оплачиваемых мест от МТС; - Обучение проходит в очном формате в московском кампусе ВШЭ; - Занятия ведут преподаватели ВШЭ и действующие эксперты-практики из МТС и MTS AI, а для проектов можно использовать виртуальную инфраструктуру компании; - В канале абитуриентов делимся новостями и помогаем с подготовкой к поступлению. В программе передовые методы машинного и глубинного обучения: большие языковые модели, генеративные нейросети, инструменты компьютерного зрения и распознавания естественного языка. Также есть возможность выбрать трек: исследователи учатся писать научные статьи, а предприниматели — создавать из ИИ-разработок бизнес-решения. Подача документов с 20 июня! Получить напоминание о старте подачи и изучить подробнее программу можно на сайте.

Сегодня в 20:00 по мск наш ждет что-то новенькое от OpenAI От этом сообщил один из инженеров стартапа. От написал, что будет «большой день для пользователей, о котором я думаю днями и ночами». Что ж, посмотрим 👀 Кстати, еще из приятных новостей от стартапа: со вчерашнего дня Codex доступен всем Plus юзерам ChatGPT. Plus – это подписка за 20$ / месяц. Говорят, что лимиты на Codex «щедрые», но зато тут же уточняют, что в периоды высокого спроса будут появляться ограничения скорости. Кроме того, теперь агенту можно предоставить доступ в Интернет, и он сможет пользоваться им по необходимости. Changelog

Похож же, ну?

Юра Борисов может сыграть Илью Суцкевера в фильме про увольнение Альтмана Фильм снимает режиссер «Претендентов». В сюжете – события осени 2023 и драмы в OpenAI с увольнением и восстановлением Сэма на роль CEO компании. На роль Альтмана, кстати, хотят взять Эндрю Гарфилда Наши 🐘?