Data Secrets

У MWS Cloud появилась своя платформа для эксплуатации моделей ИИ - Inference Valve Она может работать с ML-моделями и большими языковыми моделями, выводя их в продакшн. Платформа позволит подключить их к IT-системам компании даже через стандартные API, масштабировать и обновлять. Inference Valve помогает автоматизировать рутину: операционная нагрузка на команды снижается до 70%. Затраты на GPU снижаются на 15%. С помощью платформы CV-модели могут анализировать видео, искать в них объекты, сцены или действия. ML- и LLM-модели - генерировать тексты, анализировать данные и отвечать на часто задаваемые вопросы в HR-порталах.

Мы еще не отошли от IMO, а OpenAI уже выиграли золото на международной олимпиаде по информатике IOI Система от стартапа официально соревновалась в общем зачете и заняла 6 место среди 330 участников. У нее были все те же условия: 5 часов, максимум 50 отправок и голый терминал без доступа в Интернет. В этот раз, кстати, OpenAI выставили не единую модель, а ансамбль из нескольких ризонеров. При этом ни одна из моделей специально не обучалась под IOI. В прошлом году, для сравнения, модель стартапа нарешала только на бронзу. Это был примерно 49-ый персентиль, в этом году же они на уровне 98-го. Еще, кстати, был неофициальный трек только для ИИ. В нем OpenAI заняли первое место.

Сэму Альтману тоже разонравился термин AGI Это интересно, потому что раньше он употреблял его чаще всех остальных CEO вместе взятых. А теперь внезапно заявил, что это уже не очень полезное обозначение, потому что у него много определений.

«Одно из определений, которое нравится людям: это система, которая выполняет значительную часть работы в мире. Но это постоянно меняется, потому что люди осваивают новые профессии. Другой вариант, который некоторые используют, — это система, которая может сама по себе проводить действительно качественные исследования в области ИИ. Суть в том, что это не так уж важно. Людям просто нравится «открывать» какие-то новые определения, но на самом мы будем полагаться лишь на продолжающийся экспоненциальный рост возможностей модели для всё большего и большего числа задач»

Короче, можно считать термин AGI официально отмененным еще до того, как кто-либо его достиг. Немного обидно, конечно

Проблемы с качеством кода в ML-проектах — как с ними справиться? В популярных ML-библиотеках часто бывают проблемы с качеством кода. В Transformers не прописаны тайпинги, Sklearn падает при большом количестве ядер, а в сурсы vLLM вообще страшно смотреть. Иногда это приправлено ещё и весьма специфичным синтаксисом, например, как у torch.einsum().

Поэтому в большинстве случаев не получается использовать линтеры. Или их нужно кастомизировать, чтобы они нормально работали с ML-проектами.

В классической разработке можно сделать MVP и затем постепенно улучшать его, не переписывая весь код. В ML всё работает немного иначе: часть экспериментов требуют лишь поиграться с гиперпараметрами или конфигурациями. Но иногда подход к обучению модели не оправдывает себя целиком. Тогда приходится, например, задачу seq2seq переформулировать как NER — это тянет за собой всю архитектуру проекта, практически снося предыдущие наработки. Так нужно ли качественно оформлять короткоживущий код? Обычно проблему решают ведением двух репозиториев: 👾 Для экспериментов. 👾 Для продакшена, который потом интегрируется с бэкендом. В репозитории с экспериментами качество кода может быть ниже, но важно, чтобы он оставался понятным для всех членов команды. Как упростить работу с кодом?

Есть конструкторы для LLM (LangChain, LlamaIndex), которые упрощают работу с языковыми моделями, позволяя из готовых «кубиков» собрать работающую RAG-систему, и не только. Однако за простотой использования кроются проблемы, которые обязательно вылезут при масштабировании.

В чём минусы таких конструкторов, а также какой стек технологий должен знать современный ML-инженер, обсудили в подкасте «PiterPy и IML» с нашей Data-scientist Лизой Афанасьевой. Смотрите полный выпуск на YouTube или в VK Видео.

Проблемы с качеством кода в ML-проектах — как с ними справиться? Нашли пост от Data-scientist из финтех-компании Точка Банк ML-код часто живёт по своим правилам: — В Transformers не прописаны тайпинги. — Sklearn падает при большом количестве ядер — На исходники vLLM лучше не смотреть — больно. С таким стеком большинство линтеров просто не работают — приходится кастомизировать. Что делать? Разделять проекты: — один репозиторий для экспериментов, — второй — для продакшена, который интегрируется с бэкендом. Но даже в такой конфигурации легко местами скатиться в нечитаемый и не воспроизводимый код, особенно в репозитории с экспериментами. Как этого избежать — читайте в посте ниже ⬇️ А чтобы разобраться в других сложностях ML-проектов, подписывайтесь на канал .ml

xAI подает в суд на Apple Причина занятная: по мнению Маска, «Apple ведет себя таким образом, что ни одна компания в сфере ИИ, кроме OpenAI, не может занять первое место в App Store, и это нарушает антимонопольное законодательство». Пруфов, естественно, пока никаких. Где-то тяжело вздохнул один Тим Кук

Исследователи из университета Карнеги-Меллона представили универсальную схему самообучения LLM Ранее мы уже писали об «Absolute Zero Reasoner» — подходе, где модель сама придумывает себе задачи и решает их, но всё обучение шло только на коде, а проверка ответов была через запуск в интерпретаторе. Там роли Proposer и Solver были симметричны, и награды считались в рамках одного кастомного RL-подхода. А теперь в свежей работе команда из CMU пошла дальше и предложила метод, который работает не только для кода, но и для задач без автоматической проверки. Суть простая: ➖ Модель играет две роли — Proposer генерирует задачи, Solver их решает. Оба — это один и тот же LLM, дообучаемый через RL. ➖ В задачах с трудной верификацией (арифметика, алгебра) используется majority vote: модель решает задачу несколько раз, и правильным считается ответ, встречающийся чаще всего. ➖ В задачах с лёгкой автоматической верификацией (код) Proposer сразу генерирует юнит-тесты, а награда Solver определяется долей пройденных тестов. ➖ Proposer получает ревард только за задачи средней сложности — ни слишком лёгкие, ни совсем нерешаемые. Так сложность автоматически подстраивается под текущий уровень Solver'а. Результат: всего с одной короткой темы в промпте, без единого готового вопроса или ответа, Qwen2.5-3B-Instruct получил +14% на арифметике, +16% на алгебре и +7% на кодинге на независимых тестах. Сайт | Код | Статья

Ну все, это кульминация: Nvidia и AMD будут платить Америке за то, чтобы продавать чипы в Китае Компании пошли на беспрецедентное соглашение с правительством США. Согласно условиям сделки, они обязаны перечислять американским властям 15% своей выручки от продаж в Китае в обмен на получение экспортных лицензий. Причем даже это – не для любых чипов, а для H20. Они специально были разработаны для китайского рынка и отличаются немного пониженными вычислительной мощностью и коммуникационной способностью. Их запретили к поставке в апреле, но теперь лицензии снова будут выдавать, но уже за очень жирный процент. Кажется, это и был план Белого дома с самого начала. За деньги – да 🤑

Вашему вниманию: лучший мем за последнее время и одновременно лучший стеб OpenAI, который вы когда-либо видели

Исследователи из Пекина предложили алгоритм поиска кратчайших путей, который обходит Дейкстру Почти 70 лет ученые пытались сломать барьер сортировки для этой задачи. В данной работе это получилось впервые. Разбираемся ⬇️ Классический Дейкстра устроен так: мы храним вершины в приоритетной очереди и итеративно выбираем ближайшую, проверяя рёбра и обновляя расстояния, если путь через текущее ребро короче. Узкое место тут как раз в необходимости постоянно поддерживать упорядоченность большой очереди вершин. Из-за этой упорядоченности и возник так называемый «барьер сортировки». Считалось, что перебить его невозможно. Но вот, что сделали авторы тут:

1. Делим задачу на подзадачи с ограничением по максимальному расстоянию, до которого считаем пути. 2. Сжимаем «фронтир»: из вершин на границе уже найденных путей оставляем только небольшое число ключевых (пивотов). 3. Рекурсивно обрабатываем только пивоты и их ближайшие вершины, избегая полной сортировки. 4. Для остальных вершин добиваем расстояния несколькими шагами по всем рёбрам (метод в духе Беллмана–Форда). 5. Повторяем процесс, постепенно уточняя расстояния до всех вершин.

Итого, сложность Дейкстры – O(m + n log n), а BMSSP – O(m log^(2/3) n). Во втором случае логарифм растет заметно медленнее. Что это все значит для ML? Может показаться, что ничего. Но на самом деле алгоритм Дейкстры вездесущий. Например: – В графовых нейросетях на основе расстояний между вершинами часто вычисляются самые важные фичи. – Для всяких ML-алгоритмов для логистики просто незаменимо. – И даже в RL есть применение. Например, при обучении роботов среда может быть представлена как граф состояний, в котором оптимальная политика – это кратчайший путь. Вот так как-то. Исторический день, получается. Статья полностью тут, почитайте обязательно

Кстати, занятная статистика от Альтмана: всего 7% пользователей тарифа Plus пользовались ризонинг моделями до появления GPT-5 Сейчас это число выросло до 24% (естественно, потому что новая система сама роутит на ризонеры). У бесплатных пользователей ситуация еще хуже: раньше <1% юзеров пробовали ризонеры. Теперь 7%. Интересно, все правда так любили gpt-4o или просто не умеют пользоваться выпадающими списками?

Меньше месяца до окончания приема заявок в магистратуру ЦУ с грантом до 75% на все время обучения! Если хочешь двигаться в новую роль, но не хватает уверенности и структуры — начни обучение на одном из четырех ИТ-направлений магистратуры ЦУ. Ты сможешь прокачаться: — в продуктовой аналитике; — машинном обучении; — продуктовом менеджменте; — backend-разработке. Партнеры университета — ведущие компании на рынке РФ: ВТБ, Сбер, Т-Банк, Яндекс, Avito, Ozon, Х5 Tech и другие. 62% магистрантов ЦУ находят новую работу с ростом зарплаты в 1,6 раза уже на первом курсе, а средняя зарплата достигает 195 000 ₽. Обучение можно совмещать с работой, так как занятия проводятся по вечерам и выходным. Успей подать заявку до 24 августа: ссылка

Начинаем понедельник с двух хороших новостей 1. Plus юзерам ChatGPT еще раз повысили лимиты. Теперь им доступно 3000 запросов на gpt-5-thinking в неделю. Это значит, что лимиты по разным классам моделей выросли почти в дважды по сравнению с тем, что было до gpt-5. Страшно представить, что там происходит с видеокартами. 2. Grok-4 теперь доступен бесплатным пользователям. Дают буквально несколько запросов в день, но уже что-то. Теперь ждем повышение лимитов от Google и Anthropic, а то неловко получается 🙃

Пока Цукерберг забирает талантов из OpenAi, Илон Маск забирает таланты у Meta С января этого года Илон Маск переманил к себе в xAi по крайней мере 14 исследователей и инженеров из Meta. Среди бывших работников Meta Маск забрал к себе: Синьлэй Чен, который был научным сотрудником в FAIR и фокусировался на мультимодальных системах. Шэн Сен, который помог масштабировать модели Llama — также присоединился к xAI в апреле, согласно его профилю в LinkedIn. Санта-Барбара какая-то 🔵

Осознали тут, что новый учебный год начинается уже через три недели 😎 Интересно, много среди нас тех, кто поступил в этом году в ШАД, AI Masters и ML магистратуры? Делитесь ожиданиями. Если есть те, кто пока только собирается пробоваться – удачи! Сейчас самое время настроиться на следующий набор и спланировать подготовку на год вперед. А как это правильно сделать – расскажет на бесплатном вебинаре лучшая школа по подготовку к ШАДу Shad Helper. Они готовят студентов уже 6 лет, а ведут у них преподаватели из МГУ, МФТИ и ВШЭ. Главная ценность их курсов – в комплексной последовательной подготовке. И да, у них учиться тоже сложно. Зато вступительные куда угодно потом пройдете запросто. Так вот, 13 числа они проведут вебинар и детально обсудят, что надо знать, как спланировать подготовку и обойти подводные камни. И, конечно, подробнее расскажут про свой новый курс по подготовке к ШАДу и другим программам. Вишенка: нашим подписчикам на этот курс доступна скидка 30% на первоначальный взнос. Забирайте промокод: DS30. ➖ Регистрация на вебинар ➖ Больше информации про курс по подготовке к ШАД Для студентов и начинающих ML/DS спецов (если планируете долгую успешную карьеру) – мастхэв.

Формат harmony для gpt-oss и с чем его едят Мы тут на выходных продолжаем копаться в gpt-oss и решили рассказать вам о том, что такое harmony. Во-первых, самое важное: без формата harmony gpt-oss работать не будет. Точнее будет, но выдаст белиберду, потому что обучен был только на harmony. Во-вторых, harmony – это не совсем токенизация, как много где упоминается. Это именно формат сообщений, то есть структура с ролями, тегами и каналами. Наверху пример того, как это выглядит. ⚪️ Есть роли (system, developer, user, assistant и tool). Например, system – это системный промпт. Tool – это результат вызова инструмента. Если возникает конфликт инструкций, то system > developer > user > assistant > tool. ⚪️ Есть каналы: final (основной ответ), analysis (цепочки мыслей), commentary (преамбулы к tool call’ам). ⚪️ Ну и теги (aka специальные токены) типа start, end, call, channel и др. Каждое сообщение структурируется примерно так:

<|start|>{роль}<|channel|>{канал}<|message|>{контент}<|end|>

Что касается токенизации: да, она должна быть совместима с harmony, но harmony – это не алгоритм токенизации. А в качестве алгоритма используется tiktoken. Для того, чтобы все работало правильно, OpenAI сделали для него специальный режим o200k_harmony. Разница только в лексемном словаре, но не в подходе. На практике все очень просто. Проговорим кратко:

– Если запускаете модель через готовых интеграторов (HuggingFace, Ollama и тд), все форматирование будет выполнено автоматически – Если запускаете через свои скрипты или торч, форматировать надо вручную. Для удобства OpenAI выпустили специальную либу openai-harmony – С дообучением то же самое: датасет должен быть в формате harmony, здесь также используем openai-harmony

А теперь главное: зачем OpenAI harmony? Тут все довольно очевидно. Это стратегический ход. Если все в опенсорс сообществе перейдут на Harmony, он станет единым стандартом для диалогов и агентов, как когда‑то API OpenAI стало общим форматом работы с моделями. А кто определяет формат — тот и заказывает музыку: все агенты пишутся под Harmony, OpenAI укрепляется на рынке даже за пределами своих моделей, а разработчиков легко переводить с open‑source на коммерческие продукты компании, потому что переписывать ничего не нужно. Вот так как-то Документация тут, если что

О, прикольно: ИИ отправят на Марс в качестве… врача Этим совместно занимаются NASA и Google. Вместе они разрабатывают систему Crew Medical Officer Digital Assistant (CMO-DA), которая будет помогать космонавтам следить за своим здоровьем на борту. Инструмент тестируют уже сейчас: это мультимодальная система, которая может распознавать речь, текст и изображение. Пока средняя точность диагностики – 80%.

Вы тоже заметили, что мы забыли про старое доброе CV? Везде все только про LLM, элаймент, агентов и все такое. А иногда так хочется почитать или послушать про новинки из других областей. Поэтому вот вам глоток свежего воздуха, если вы так же сильно как мы любите компьютерное зрение. МТС, Яндекс, AIRI, VisionLabs и Wildberries & Russ проведут целую серию офлайн митапов по CV. Мы заглянули в программу, там CV во всей широте: мелькают и discriminative, и generative, и multimodal подходы. Среди тем: мультимодальные агенты, bias в компьютерном зрении, видеосегментация процессов на складе, контроль генераций диффузионных моделей. Практично, интересно и, главное, свежо. Будет хардово (как мы любим), но доступно и емко. Исследователям и инженерам – особенно рекомендуем. Смотреть онлайн, кстати, тоже можно. Провожаем лето правильно и продуктивно. Регистрируйтесь на первый митап сразу -> тут

Нашли тут для вас готовый ноутбук для файнтюна gpt-oss Внутри все end-to-end, от скачивания модели и подготовки данных до обучения и инференса. Еще и мощно оптимизировано, кстати. Моделька на 20В вмещается в 14GB видеопамяти. То есть теоретически запустится даже на бесплатных ресурсах колаба. Ноутбук для 20В (его же можно использовать для 120В) А вот тут лежат все текстовые пояснения к коду и «теория»:про то, как работает формат Harmony и почему он необходим, например. В общем все, чтобы запускать код не в слепую (хотя так тоже можно), а с достаточно глубоким пониманием. Занятие на выходные что надо

Так, Сэм Альтман собрал фидбэк о GPT-5 от пользователей в AMA на Reddit и вот несколько хороших новостей: 1. Вчера система (не забываем, что это именно система, а не одна модель) казалась глупее, потому что сломался роутинг между моделями. Теперь все починили, по идее должно стать поприятнее. 2. Информация о том, какая модель работает над запросом, станет прозрачнее: видимо, будет отображаться где-то перед аутпутом. Плюс разработчики до сих пор калибруют границу принятия решения о переключении моделей. Также можно будет вручную переключаться в режим ризонинга. 3. После того, как GPT-5 наконец докатят на всех, лимиты для Plus пользователей удвоятся. Также OpenAI рассматривают возможность разрешить Plus юзерам продолжать использоваться GPT-4o. Об этом попросило прямо ооочень много людей.