Data Secrets

🚀 Сегодня День космонавтики! По случаю собрали топ-5 интересных кейсов применения ML в космических исследованиях 1. В 2023 ИИ впервые без участия человека нашел и классифицировал сверхновую звезду SN2023tyk (а это большая честь даже для людей-ученых). Система обнаружения называется Bright Transient Survey Bot (BTSbot). Это агент, который автономно просматривает снимки, выделяет кандидатов и запрашивает из баз телескопов доп.информацию, чтобы подтвердить/опровергнуть гипотезу. 2. В том же 2023 Оксфорские ученые впервые обучили ML-модель прямо в космосе, на борту спутника. Пайплайн был загружен на коммерческий спутник и обучен на бортовых данных. Получилась полноценная модель для мониторинга стихийных бедствий. 3. В прошлом году NASA запустили на Марс марсоход с ИИ. Система анализириует породы и участки планеты и сама решает, что стоит изучить подробнее. Это первый случай использования AI на Марсе для принятия решений без участия Земли. 4. В том же NASA уже пару лет используют HLS Geospatial Foundation Model – первую фундаментальную модель для геопространственных данных зондирования. Она отслеживает изменения земного покрова, мониторит стихийные бедствия и даже предсказывает урожайность. И кстати, ее выложили в опенсорс и постоянно обновляют. 5. За то, чтобы спутники не сталкивались на орбите, тоже в основном отвечает ИИ. Например, SpaceX делились статистикой о том, что за пол года спутники Starlink совершили более 10к маневров для избежания столкновений, и все это без участия человека. С праздником, в общем

Forbes опубликовали топ-50 самых перспективных ИИ-стартапов этого года По сравнению с прошлым годом в числе новичков Anysphere (это разрабы Cursor), Thinking Machine Lab Миры Мурати, World Labs Фей-Фей Ли и Mercor (у них инструмент для автоматизации процесса найма и интервьюирования сотрудников). Также появляется все больше стартапов, которые занимаются инфраструктурой для ИИ. TogetherAI, VAST Data, SambaNova, Lambda, Crusoe и прочие. Ну и роботы с агентами конечно, тоже на волне. Самая дорогая компания в списке – OpenAI ($64 млрд). Следом за ними Databricks ($19B), Anthropic ($17В) и XAI ($12В). Полный список тут. Если кого-то не узнаете, можете тыкнуть на название и провалитесь в описание.

Стали известны победители AIME 2025. Это крупнейшая "олимпиада" по математике для ИИ. Собрали саммари по опубликованным решениям: Все победители, которые поделились своими решениями, использовали модель DeepSeek-R1-Distill-Qwen-14B, просто с разной степенью дообучения, квантования и использования inference-движков. Особенно никто с экспериментами для обучения не запаривался, потому что задачка была больше на инженерную оптимизацию. Почему? Потому что основным вызовом было ограничение на время и железо. Все 50 задач надо было решить за 5 часов, используя 4 GPU L4 (у них не очень большая пропускная способность, так что 5 часов – это реально мало). То есть участник сдает ноутбук, который запускается на стороне организаторов и решает задачки. В ноутбуке можно контролировать, как модель распределяет задачи: в каком порядке решает, сколько токенов и времени тратит на каждую, как все параллелится между GPU. И тут практически все как-то играли с перераспределением времени и токенов. Одни пытались предсказывать сложности задач перед решением и распределять относительно этого. Другие начинали с равных "долей" и динамически перераспределяли сэкономленные ресурсы. А кто-то даже пытался кластеризовать задачи по похожести и решать несколько за раз. Интересно, что единственными, кто реально попотел над обучением стали ребята из японской лаборатории Sakana (9 место). Те самые, кто разработал агента-рисерчера, статью которого приняли на ICLR (пост). Вот у них полный набор: и файн-тюнинг SFT, и RL-дообучение с GRPO. Они как раз и использовали ModernBERT для оценки сложности. В общем, вот лидерборд и некоторые описания решений, можете взглянуть

В Cloud.ru Evolution появится ИИ-помощник Об этом рассказали на конференции GoCloud. Ассистент будет работать бесплатно и сможет помочь с автоматизацией рутинных задач, настройкой облака и даже разработкой AI-агентов. Релиз обещают уже в этом году. В начале завезут базу, а потом постепенно будут добавлять новые фичи, вплоть до автоматизации мониторинга и масштабирования инфраструктуры. «Мы планируем, что к 2026 году AI-помощники будут выполнять большинство задач в частотных сценариях работы в облаке. Это кардинально изменит опыт пользователей при работе с облачными продуктами. С момента запуска AI-помощники будут доступны в публичных, гибридных и частных облаках Cloud.ru», — добавил Евгений Колбин.

CEO Perplexity объявил, что моделью теперь можно пользоваться в Telegram через официального бота @askplexbot Это бесплатно. Также бота можно добавить в любые чаты, тегать и спрашивать о чем угодно (как Grok в X). В наш чат канала мы модельку уже добавили, так что можете играться

Google раскатили в своем сервисе NotebookLM бесплатный Deep Research для поиска источников 1. Заходим на notebooklm.google 2. Задаем любую тему 3. Модель бодро найдет вам 10 и больше самых релевантных веб-источников и аннотирует каждый в соответствии с запросом 4. Дальше бота можно попросить построить по ним майндмэп, написать конспект, сделать подкаст, ну или просто задать доп.вопросы Умный гугл от гугл 😎

Оптимизируем работу со Spark и строим рекомендательные системы Многие рекомендательные системы строятся на Spark, но при обработке больших данных с ним часто возникают проблемы. Кроме этого, это недешевое решение. На бесплатном вебинаре 15 апреля в 17:00 расскажем, как оптимизировать работу со Spark, и в реальном времени обучим модель, чтобы показать эффективность нашего подхода. Что еще обсудим 🔹 Как выстроить архитектуру для рекомендательных систем в облаке, On-premise или гибриде. 🔹 Как оптимизировать расходы и работу со Spark. 🔹 Workshop: как в облачном Spark сделать рекомендательную систему для определения степени рисков ишемической болезни сердца. Кому будет полезен вебинар ⚫️ML-инженерам. ⚫️Архитекторам, Data-инженерам, Data-аналитикам. ⚫️Руководителям ML-направлений и Data-офисов. Зарегистрироваться

OpenAI опенсорснули еще один бенчмарк для агентов BrowseComp проверяет, насколько модели способны находить в интернете труднодоступную или плохо-гуглящуюся информацию. Подобных тестов есть уже несколько, но тут фишка именно в сложности вопросов. Ну, например:

Найди мне название научной работы, опубликованной на конференции EMNLP в период с 2018 по 2023 год, где первый автор получил степень бакалавра в Дартмутском колледже, а четвертый автор получил степень бакалавра в Пенсильванском университете.

Для понимания: люди решили только 29.2% задач, остальные пометили как «нерешаемые» (то есть сдались и не доделали). При этом из решенных задач правильно были решены только 86.4%. По моделям: 4.5 решает 0.9%, o1 9.9%, а Deep Research 51.5% (правда он обучался на тех же данных, авторы это говорят открыто). openai.com/index/browsecomp/

Ого: OpenAI выпустили подкаст про то, как они обучали GPT-4.5 Присутствовали 3 инженера из команды разработки: Амин Тутунчян, Алекс Пейно и Дэниел Селсам. Что интересного рассказали: ➖ Планирование выпуска GPT-4.5 началось еще год назад. Целью было создать модель в 10 раз умнее GPT-4. Сначала была куча тестов, а затем под GPT-4.5 пришлось почти полностью переписывать формы матриц, структуры слоёв и др (чтобы подстроиться под инфру). ➖ Основным вызовом оказалось масштабирование GPU-кластера. С увеличением количества карт (например, с 10k до 100k), начинает возникать все больше отказов и ошибок. Так что в начале обучение не задалось, но потом основные проблемы постепенно разрешились. ➖ Из забавного: прямо во время обучения была найдена критичная ошибка в реализации функции torch.sum в PyTorch. Она приводила к систематическим сбоям с доступом к памяти. ➖ Оказывается, основная метрика стартапа – это лосс на их же внутреннем коде. Работает хорошо, потому что таких данных гарантировано никогда не было в паблике, а значит и в трейне. ➖ Раньше модели были compute-bound, то есть ограниченные мощностями. 4.5 впервые стала моделью, ограниченной данными (data-bound). Сейчас это основная пробелма, потому что рост данных намного медленнее роста доступных вычислений. ➖ В целом скейлинг, конечно, замедляется, но все еще работает за счет того, что в дате всегда присутствуют длинные хвосты редких, но важных концепций. Их можно "латать" новыми данными почти бесконечно. ➖ Сейчас по эффективности обучения на тексте нейросети отстают от человека примерно в 100,000 раз. Так что, чтобы масштабироваться дальше, нам понадобятся новые алгоритмы, которые смогут извлекать больше знаний из меньшего объема даты. Да и методы обучения на масштабах миллионов видеокарт должны быть совсем другими. Выпуск полностью – здесь

Мира Мурати собирается привлечь в свой страртап 2 миллиарда долларов при оценке в $10 миллиардов Это в два раза больше чем, как сообщалось, она искала буквально два месяца назад. Если все получится, то это будет крупнейший seed round в истории. Даже Safe Superintelligence Суцкевера привлекли на стадии идеи в два раза меньше. Пятьсот на дым, пятьсот на трэп, ещё пятьсот на флекс (остальное на GPU) 😎

Мы в своих ML-моделях на столько преисполнились… Что ML-команда Купер.тех собрала новый материал для митапа! 22 апреля в 19:00 зовём на Data Science Meetup, соберёмся в Москве и онлайн! В программе доклады и QA-сессия: ⚡️Как мы делали матчинг в Купере». Николай Чугунников, Machine Learning Engineer, Купер.тех ⚡️«Uplift Space Oddity, или как запустить ML-космолёт и не упасть». Екатерина Апраксина, Machine Learning Engineer, Купер.тех ⚡️«Как делать рекомендации не с нуля». Александр Лоскутов, Machine Learning Team Lead, Купер.тех Регистрируйся, чтобы попасть в офлайн или не пропустить ссылку на трансляцию! Реклама. ООО «ИНСТАМАРТ СЕРВИС», ИНН: 9705118142. Ерид: 2W5zFGDX1Ag

OpenAI готовится выпускать GPT-4.1 (Да, вы все прочитали правильно, 4.1) Об этом сообщает The Verge. Инсайдеры говорят, что грядет выпуск большой линейки моделей, среди которых будет GPT-4.1 – обновленная GPT-4o. Релиз ожидается уже на следующей неделе. Нумерация – RIP. Но зато не будет путаницы с 4o и o4

⚡️ У ChatGPT появилась глобальная память Раньше система запоминала только избранную информацию из прошлых чатов. Теперь же она помнит все ваши переписки полностью и может на них ссылаться, а также учитывает любые когда-либо высказанные вами предпочтения и интересы. Такой вот RAG на стероидах. Доступно в Pro и Plus * Обратите внимание, что если в прошлом вы отказались от Memory, то сейчас функция вам недоступна. Надо перейти в настройки и разрешить референсинг и память.

Новый твит Альтмана ⬆️ Кажется, сегодня что-то будет

⏰ Последний шанс зарегистрироваться: Big Data в реальном бизнесе! 🚀 📊 Big Data больше не абстракция — это основа стратегических решений, которые меняют бизнес-процессы в самых разных сферах: от медицины до финтеха. Хотите разобраться в управлении большими данными и услышать инсайты от важных лиц индустрии? Тогда Data Fusion 2025 — событие, которое нельзя пропустить. 🎙️ Например, отдельным треком пройдет серия сессий на тему «ML + наука» – о том, как машинное обучение влияет на отрасли бизнеса и науки. 🎙️ На профильных кейс-сессиях о RAG, CV, RL, Embodied AI, NLP будут представлены доклады о лучших практиках машинного обучения в ведущих компаниях рынка. 🎙️ По традиции на полях конференции можно будет послушать Science Note – доклады ключевых российских ученых в сфере работы с данными и машинным обучением, в том числе – Ивана Оселедца, Константина Воронцова, Андрея Райгородского. Конференция и экспертиза, которые нельзя пропустить! ⚡ Регистрация скоро закроется! Чтобы получить доступ, заполните онлайн-форму на официальном сайте: https://data-fusion.ru/ – *Big Data — большие данные *RAG — генерация с подключением к поиску (Retrieval-Augmented Generation) *Embodied AI — ИИ, взаимодействующий с физической средой *CV — компьютерное зрение (Computer Vision) *RL — обучение с подкреплением (Reinforcement Learning) *NLP — методы обработки естественного языка

Anthropic 🤝 OpenAI подписка за 200 долларов Anthropic последовали примеру конкурента и тоже сделали для Claude подписки за кучу денег. Новый план Max включает две опции: ➖ За 100 долларов: лимиты в 5 раз больше, чем в Pro ➖ За 200 долларов: лимиты в 20 раз больше, чем в Pro При этом никаких эксклюзивных моделей в Max нет: в добавок к лимитам обещают просто приоритетную обработку запросов в периоды повышенного трафика и гипотетический ранний доступ к будущим новым фичам. Желающие есть?

Админы читают список релизов Google

И еще один релиз от Google: новый чип TPUv7s Его разрабатывали под кодовым названием Ironwood. В нем 192 гигабайта видеопамяти, и по сравнению с текущим TPUv5 пиковая производительность примерно в 10 раз выше, а энергоэффективность в 2 раз лучше. При этом пропускную способность HBM заявляют 7.2 TBps на чип. Это в 4.5 раза больше, чем у Trillium. В целом вполне себе уровень Nvidia blog.google/products/google-cloud/ironwood-tpu-age-of-inference/

Как ускорить inference своей карьеры? Представь, что ты обучаешь модель уровня GPT-4.5 на CPU. Она, может быть, и сойдётся… но лет через десять. Примерно так выглядит попытка построить карьеру в компании, где каждая идея тонет в бюрократии. Ты готов идти быстрее, но система требует ещё одного круга бесконечных согласований. Вот так и застреваешь в рутине. На самом деле тебе просто нужно «GPU»: свобода быстро экспериментировать, проверять гипотезы и сразу видеть результаты своей работы в продакшене. Хороший пример – финтех Точка. Там такую свободу сделали частью внутреннего кодекса: ➖ Не нужно ждать одобрения сверху: можно самому принимать решения и сразу менять то, что работает плохо. ➖ Никто не говорит тебе, как именно реализовывать задачу: если у тебя есть гипотеза, бери и проверяй. ➖ В Точке существуют по принципу «Если ты в команде — значит, ты эксперт своего дела», так что никакого гиперконтроля, ты сам выстраиваешь свой рабочий процесс и темп. Хочешь ускорить inference своей карьеры? Попробуй работать там, где ML-специалистов слушают и уважают

Google дропнули Firebase Studio – IDE в браузере для вайб-кодинга 🎹 Это облачная среда агентской разработки приложений. Есть инструменты для прототипирования (включая дизайн), написания кода, тестирования, деплоя и мониторинга. Получается end-to-end штука для реализации любого проекта в режиме zero code. Ну или, если хотите, авторский гугловский Cursor на максималках. Пока что Firebase доступен в превью. Попробовать можно бесплатно здесь