Data Secrets

Цукерберг планирует еще побороться: Meta пересобирает ИИ-отдел Помните новость о том, что после неудачного выхода Llama 4 Цукер психанул и обещал провести "большие изменение в составе" команд? Ну так вот, он действительно решил это сделать. Говорят, сейчас CEO лично отбирает 50 человек (в том числе нового руководителя ИИ-рисерча), которые будут работать над ASI. Даже столы в офисе передвинул, чтобы эта команда сидела рядом с ним. Отделение будет называться Meta’s Superintelligence Group. Звучит дорого. Надеемся, принесет плоды

Fun fact: новая o3-pro все еще намного слабее модели o3 preview, которую OpenAI показывали в декабре Когда o3 только анонсировали (пост от 20 декабря), на ARC-AGI она выбивала почти 80%. Выпущенная недавно o3 при самом высоком бюджете ризонинга выбивает всего 60 с хвостиком, и вышедшая вчера o3-pro – примерно столько же. Смотрите график. Что это значит? Что ту самую o3, скорее всего, так и не выпустят (уж очень дорогая). Зато, возможно, будет оптимизированная o4, которая выйдет на тот же уровень и будет в разы дешевле.

MWS AI (ex MTS AI) представили open-source версию ИИ-ассистента для программистов — Kodify Nano. Что умеет: писать код по текстовому запросу, объяснять его, генерировать юнит-тесты и документацию. Модель поддерживает Python, Java, JavaScript, C# и ещё ряд языков, содержит 1,5 миллиарда параметров и поддерживает контекст 32 тыс. токенов (примерно 16–25 тыс. строк кода). Под капотом – Qwen2.5-Coder, дообученная командой на собственном датасете. Можно использовать в закрытом контуре, дообучать под себя, подключать к любимым редакторам через плагин. Попробовать уже можно на сайте MWS AI.

Сэм Альтман в честь выхода o3-pro выпустил эссе под названием «Нежная сингулярность» Снова пишет про будущее, но теперь среди прочего – конкретные предсказания (да). Итак, топ цитат:

Мы прошли горизонт событий; взлет начался. Человечество близко к созданию цифрового суперинтеллекта, и, по крайней мере, пока это гораздо менее странно, чем, как кажется, должно быть. Роботы пока не ходят по улицам, и большинство из нас не общаются с ИИ весь день.

В 2025 году появились агенты, способные выполнять настоящую когнитивную работу; написание кода уже никогда не будет прежним. В 2026 году, скорее всего, появятся системы, открывать новые идеи. В 2027 году могут появиться роботы, способные выполнять задачи в реальном мире.

В 2030-х годах интеллект и энергия — идеи и способность воплощать идеи — будут в диком изобилии. Эти два фактора долгое время были фундаментальными ограничителями человеческого прогресса; при их (и хорошем управлении) мы теоретически можем иметь что угодно.

Мы очень быстро переходим от удиаления, что ИИ может написать абзац, к удивлению, когда он может создать прекрасно написанный роман. Или от удивления, что он может написать небольшую программу, к удивлению, когда он может создать целую новую компанию. Вот как проходит сингулярность: чудеса становятся рутиной, а затем базовым минимумом.

По мере автоматизации производства центров обработки данных стоимость интеллекта должна в конечном итоге приблизиться к стоимости электроэнергии.

Скорость создания новых чудес будет колоссальной. Сегодня даже трудно представить, что мы откроем к 2035 году; может быть, за один год мы перейдем от решения физики высоких энергий к началу колонизации космоса. Конечно, будут и сложные моменты: например, исчезнут целые классы профессий. Но люди по-прежнему будут способны адаптироваться практически ко всему.

Полностью читаем здесь

К слову, сегодня еще и мощно удешевили обычную o3 – она теперь стоит на 80% меньше Теперь по ценам так: 🟦 o3 – $2.00 / 1M input, $8.00 / 1M output (было 10$ и 40$) 🟦 o3 pro – $20 / 1M input, $80 / 1M output (o1-pro 150$ и 600$) Получается, цена o3 теперь на уровне с Gemini 2.5 Pro (1.25$ и 10$)

⚡️ o3-pro – вышла По бенчмаркам – заметный скачок производительности на математике и кодинге по сравнению с обычной o3. И при этом, что интересно, модель в 8 раз дешевле o1-pro. Уже раскатили на всех Pro юзеров. У кого 200$ завалялись?

Ну, получается, дождались

Mistral выпустили ризонинг-модель Magistral Есть открытая версия Small на 24В и закрытая Medium – побольше. Medium работает на уровне R1 (непонятно, обновленной или нет). Русский язык поддерживается, он в числе тех, на которых модель «думает лучше всего». Еще хвастаются своей скоростью инференса: говорят, в режиме ризонинга с Flash Answers получать ответы можно в 10 раз быстрее, чем у конкурентов. Попробовать превью бесплатно можно в Le Chat Веса | Блогпост | Статья

21 июня в штаб-квартире Яндекса в Москве снова пройдет Welcome Time. В этот раз ребята из команд R&D подробно расскажут об AI-продуктах компании Программа будет интересна даже тем, кто далек от рисерча и аналитики. Смотрите сами: ➖ Ирина Барская – руководитель службы аналитики и исследований – расскажет про технологии R&D и чем такие исследования отличаются от обычной аналитики продукта ➖ Иван Дёгтев – руководитель аналитики генеративных моделей – точечно остановится на YandexGPT ➖ Елена Вольф – аналитик-разработчик YandexGPT – расскажет об использовании YandexGPT в качестве RAG-ассистента для техподдержки ➖ Артём Хуршудов – руководитель аналитики визуальных генеративных моделей – сфокусируется на картинках и покажет YandexART и YandexVLM ➖ Арсений Нестюк – руководитель аналитики распознавания речи – поговорит про звук и обсудит голосовые технологии Алисы Ну а для тех, кто хочет проверить себя, проведут еще и диагностику навыков аналитики и математической статистики. Если пройдете успешно, то в течение двух лет это можно будет засчитать как техническую секцию при собеседовании в Яндекс. Не забудьте зарегистрироваться до 19 июня

Закрываем тренд

OpenAI пробила 10 миллиардов годового дохода Сюда включены подписки, бизнес-продукты и API. В прошлом году этот показатель составлял 5.5 миллиардов. Тем не менее, это не значит, что компания вышла в плюс. Свои операционные расходы OpenAI не раскрывает, но известно, что в плюс они планируют выйти только к 2029. Ожидается, что к этому времени доход стартапа увеличится до 125 миллиардов в год.

Apple даст разработчикам доступ к локальным ИИ-моделям компании Об этом объявили на WWDC 2025. Apple запускают целый фреймворк Foundation Models, с помощью которого их модели можно будет встраивать в приложения. При этом у пользователей при использовании приложений эти модели будут запускаться локально. Ну, например, вы создаете в FatSecret персональный план питания с помощью ИИ, но при этом ваши данные не улетают в облако, а остаются только на устройстве. Говорят, что фреймворк достаточно интуитивный, с поддержкой Swift. Доступ к моделям или к tool calling можно будет получить всего в 3-5 строк кода. machinelearning.apple.com/research/introducing-apple-foundation-models

Оказалось, что ИИ-компании тратят миллионы на лоббирование Вашингтона – и это уже работает Издание Politico выпустило большую статью про то, как ИИ-гиганты лоббируют правильство США. Что происходит: ➖ OpenAI и Anthropic уже построили полноценные отделы по связям с правительством — только за последние месяцы они наняли десятки сотрудников, отвечающих за политику и лоббизм. ➖ Остальные компании в этом смысле менее активны, но уже включаются. Nvidia в марте зарегистрировала первых внутренних лоббистов. ➖ Цель компаний – участвовать в формировании законопроектов и добиваться ослабления регулирования. ➖ И это уже работает. Конгресс одобрил 10-летний мораторий на законы об ИИ на уровне штатов – ровно то, что просили компании. ➖ Основной инстумент лоббистов – Китай, потому что Белый дом поддерживает ИИ-индустрию в первую очередь как инструмент глобального соперничества. И вот еще занятный факт: уже сейчас ИИ-компании лоббируют больше, чем табачная и нефтяная отрасли вместе взятые. Как итог: ИИ-компании регулируются минимально и получают госзаказы на миллиарды, а данные пользователей и социальные эффекты от ИИ все больше и больше остаются без присмотра. www.politico.com/news/2025/06/06/the-ai-lobby-plants-its-flag-in-washington-00389549

Как обучать модели, если данных мало Глубокое обучение показало SOTA-результаты во многих задачах, но есть нюанс: современные нейросети требуют огромного количества размеченных данных.

Разметка — это дорого, долго и нередко требует привлечения экспертов с доменными знаниями, что ещё больше усложняет процесс. Эта проблема возродила интерес к методам, которые позволяют работать с частично размеченными или даже неразмеченными данными.

Как обучать модели с минимумом разметки: 📌 Active Learning — модель сама выбирает примеры для разметки, которые дадут наибольший прирост качества. 📌 Semi-Supervised Learning — используем небольшое число размеченных данных вместе с неразмеченными, например, через псевдоразметку. 📌 Transfer Learning — переносим знания с одной задачи на другую, что помогает значительно сократить потребность в разметке. Обучать модели без ручной разметки позволяет Weak supervision. Она использует слабые источники меток, например: 📝 Distant Supervision — автоматическая разметка данных с использованием внешних баз знаний. 📝 Эвристики и правила — разметка с помощью регулярных выражений, ключевых слов и логических правил. 📝 Краудсорсинг — использование данных, размеченных пользователями, даже если разметка содержит шум. Важно понимать, что слабые метки не обладают высокой точностью (иногда даже 60% достаточно!), но их массовое использование в правильной комбинации даёт отличные результаты. Programmatic Weak Supervision (PWS): объединяем слабые источники

PWS — это метод, который умно комбинирует разные источники слабых меток. Он агрегирует их, учитывает корреляции и противоречия между источниками, что минимизирует шум.

Как это работает? Допустим, мы решаем задачу классификации текстов. Для этого мы: 📌 Читаем тексты и привлекаем экспертов, чтобы сформулировать эвристики и регулярные выражения. 📌 Оформляем их в виде разметочных функций, которые автоматически назначают метки. 📌 Тестируем и дорабатываем разметочные функции на небольшой dev-выборке. 📌 Применяем их к большому объёму данных. Асимптотически, наш лосс уменьшается с той же скоростью, что и при разметке вручную. 📌 Используем генеративную модель, чтобы оценить вероятность принадлежности к классу. 📌 Обучаем поверх этой разметки классическую дискриминативную модель, которая теперь улавливает более общие закономерности, чем исходные разметочные функции. Такой подход позволяет получать качество, сопоставимое с ручной разметкой, но при этом автоматизирует процесс.

Среди популярных библиотек для weak supervision — Snorkel, которая реализует PWS и гибко комбинирует слабые источники разметки.

LLM можно использовать как дополнительный источник слабых меток. Например: 📝 Заменять ключевые слова и эвристики вопросами к тексту на естественном языке. 📝 Генерировать эвристики для автоматической разметки. 📝 Комбинировать LLM с традиционными методами weak supervision, чтобы улучшать итоговое качество разметки. Исследования показывают, что PWS + LLM уже опережает few-shot и zero-shot подходы по качеству! 📢 Подробнее о weak supervision и о том, как мы применяем его в Точке — в следующих постах. А пока можете почитать хороший обзор на тему обучения со слабым контролем. 💜 Этот пост написал Артур Сосновиков, тимлид нескольких ML-команд в Точке.

Классный разбор того, как обучать ML-модели в условиях дефицита размеченных данных от ребят из финтеха Точка. Ясно и по делу, ёмко собрано всё про действительно рабочие подходы, Weak Supervision и эвристики автоматизации разметки с помощью баз знаний, краудсорсинга и языковых моделей. Советуем прочитать полностью. Особенно будет полезно тем, кто прямо сейчас работает над проектами с ограниченным бюджетом и временем на разметку. Обратите внимание на PWS: ребята рассказали о нём очень подробно и практично, и это правда то, что часто спасает на проде. Кстати, на канале Точки .ml вообще много таких прикладных материалов, обзоров фреймворков и выжимок из статей, так что – подписывайтесь.

Как обучать модели, если данных мало Глубокое обучение показало SOTA-результаты во многих задачах, но есть нюанс: современные нейросети требуют огромного количества размеченных данных.

Разметка — это дорого, долго и нередко требует привлечения экспертов с доменными знаниями, что ещё больше усложняет процесс. Эта проблема возродила интерес к методам, которые позволяют работать с частично размеченными или даже неразмеченными данными.

Как обучать модели с минимумом разметки: 📌 Active Learning — модель сама выбирает примеры для разметки, которые дадут наибольший прирост качества. 📌 Semi-Supervised Learning — используем небольшое число размеченных данных вместе с неразмеченными, например, через псевдоразметку. 📌 Transfer Learning — переносим знания с одной задачи на другую, что помогает значительно сократить потребность в разметке. Обучать модели без ручной разметки позволяет Weak supervision. Она использует слабые источники меток, например: 📝 Distant Supervision — автоматическая разметка данных с использованием внешних баз знаний. 📝 Эвристики и правила — разметка с помощью регулярных выражений, ключевых слов и логических правил. 📝 Краудсорсинг — использование данных, размеченных пользователями, даже если разметка содержит шум. Важно понимать, что слабые метки не обладают высокой точностью (иногда даже 60% достаточно!), но их массовое использование в правильной комбинации даёт отличные результаты. Programmatic Weak Supervision (PWS): объединяем слабые источники

PWS — это метод, который умно комбинирует разные источники слабых меток. Он агрегирует их, учитывает корреляции и противоречия между источниками, что минимизирует шум.

Как это работает? Допустим, мы решаем задачу классификации текстов. Для этого мы: 📌 Читаем тексты и привлекаем экспертов, чтобы сформулировать эвристики и регулярные выражения. 📌 Оформляем их в виде разметочных функций, которые автоматически назначают метки. 📌 Тестируем и дорабатываем разметочные функции на небольшой dev-выборке. 📌 Применяем их к большому объёму данных. Асимптотически, наш лосс уменьшается с той же скоростью, что и при разметке вручную. 📌 Используем генеративную модель, чтобы оценить вероятность принадлежности к классу. 📌 Обучаем поверх этой разметки классическую дискриминативную модель, которая теперь улавливает более общие закономерности, чем исходные разметочные функции. Такой подход позволяет получать качество, сопоставимое с ручной разметкой, но при этом автоматизирует процесс.

Среди популярных библиотек для weak supervision — Snorkel, которая реализует PWS и гибко комбинирует слабые источники разметки.

LLM можно использовать как дополнительный источник слабых меток. Например: 📝 Заменять ключевые слова и эвристики вопросами к тексту на естественном языке. 📝 Генерировать эвристики для автоматической разметки. 📝 Комбинировать LLM с традиционными методами weak supervision, чтобы улучшать итоговое качество разметки. Исследования показывают, что PWS + LLM уже опережает few-shot и zero-shot подходы по качеству! 📢 Подробнее о weak supervision и о том, как мы применяем его в Точке — в следующих постах. А пока можете почитать хороший обзор на тему обучения со слабым контролем. 💜 Этот пост написал Артур Сосновиков, тимлид нескольких ML-команд в Точке.

Как обучать модели, если данных мало Глубокое обучение показало SOTA-результаты во многих задачах, но есть нюанс: современные нейросети требуют огромного количества размеченных данных.

Разметка — это дорого, долго и нередко требует привлечения экспертов с доменными знаниями, что ещё больше усложняет процесс. Эта проблема возродила интерес к методам, которые позволяют работать с частично размеченными или даже неразмеченными данными.

Как обучать модели с минимумом разметки: 📌 Active Learning — модель сама выбирает примеры для разметки, которые дадут наибольший прирост качества. 📌 Semi-Supervised Learning — используем небольшое число размеченных данных вместе с неразмеченными, например, через псевдоразметку. 📌 Transfer Learning — переносим знания с одной задачи на другую, что помогает значительно сократить потребность в разметке. Обучать модели без ручной разметки позволяет Weak supervision. Она использует слабые источники меток, например: 📝 Distant Supervision — автоматическая разметка данных с использованием внешних баз знаний. 📝 Эвристики и правила — разметка с помощью регулярных выражений, ключевых слов и логических правил. 📝 Краудсорсинг — использование данных, размеченных пользователями, даже если разметка содержит шум. Важно понимать, что слабые метки не обладают высокой точностью (иногда даже 60% достаточно!), но их массовое использование в правильной комбинации даёт отличные результаты. Programmatic Weak Supervision (PWS): объединяем слабые источники

PWS — это метод, который умно комбинирует разные источники слабых меток. Он агрегирует их, учитывает корреляции и противоречия между источниками, что минимизирует шум.

Как это работает? Допустим, мы решаем задачу классификации текстов. Для этого мы: 📌 Читаем тексты и привлекаем экспертов, чтобы сформулировать эвристики и регулярные выражения. 📌 Оформляем их в виде разметочных функций, которые автоматически назначают метки. 📌 Тестируем и дорабатываем разметочные функции на небольшой dev-выборке. 📌 Применяем их к большому объёму данных. Асимптотически, наш лосс уменьшается с той же скоростью, что и при разметке вручную. 📌 Используем генеративную модель, чтобы оценить вероятность принадлежности к классу. 📌 Обучаем поверх этой разметки классическую дискриминативную модель, которая теперь улавливает более общие закономерности, чем исходные разметочные функции. Такой подход позволяет получать качество, сопоставимое с ручной разметкой, но при этом автоматизирует процесс.

Среди популярных библиотек для weak supervision — Snorkel, которая реализует PWS и гибко комбинирует слабые источники разметки.

LLM можно использовать как дополнительный источник слабых меток. Например: 📝 Заменять ключевые слова и эвристики вопросами к тексту на естественном языке. 📝 Генерировать эвристики для автоматической разметки. 📝 Комбинировать LLM с традиционными методами weak supervision, чтобы улучшать итоговое качество разметки. Исследования показывают, что PWS + LLM уже опережает few-shot и zero-shot подходы по качеству! 📢 Подробнее о weak supervision и о том, как мы применяем его в Точке — в следующих постах. А пока можете почитать хороший обзор на тему обучения со слабым контролем. 💜 Этот пост написал Артур Сосновиков, тимлид нескольких ML-команд в Точке.

Классный разбор того, как обучать ML-модели в условиях дефицита размеченных данных от ребят из финтеха Точка. Ясно и по делу, ёмко собрано всё про действительно рабочие подходы, Weak Supervision и эвристики автоматизации разметки с помощью баз знаний, краудсорсинга и языковых моделей. Советуем прочитать полностью. Особенно будет полезно тем, кто прямо сейчас работает над проектами с ограниченным бюджетом и временем на разметку. Обратите внимание на PWS: ребята рассказали о нём очень подробно и практично, и это правда то, что часто спасает на проде. Кстати, на канале Точки .ml вообще много таких прикладных материалов, обзоров фреймворков и выжимок из статей, так что – подписывайтесь.

Тем временем в соцсетях люди массово обсмеивают Apple за их новую статью про способности ризонинг-моделей Мы делали разбор этой статьи вчера – вот пост. Работа быстро набрала популярность, и сегодня о ней уже говорит весь Интернет. Однако не все относятся к ней просто как к исследованию. Многие настаивают, что Apple ничего не смогли добиться в области ИИ сами, и поэтому теперь переключились на написание статей про то, что «все это не имеет смысла». Звучат даже апелляции к авторитету и мысли о том, что ученым из Apple доверять нельзя, потому что они не выпустили ни одной передовой модели 🤷‍♂️ Справедливости ради, надо сказать, что Apple не заявляли что «ИИ не работает». Они просто поставили эксперимент и написали об этом статью. Получилось обычное эмпирическое исследование, на которое очень необычно отреагировала общественность А вы читали статью? Как вам?

Илья Суцкевер получил степень почетного доктора наук и впервые за долгое время произнес речь на публике Доктор наук honoris causa – это более высокая степень, чем PhD. Она присуждается не в результате обучения и не за защиту диссертации, а за значительный вклад в науку. Суцкеверу премию присудил университет Торонто, в котором он раньше был аспирантом и занимался ИИ-исследованиями с Джеффри Хинтоном. Это четвертая степень Ильи от этого университета. Полная речь ученого в честь получения премии – здесь. Мы выделили несколько значимых цитат:

«Как я понимаю, в речи на выпускной церемонии принято давать мудрые советы. Я дам один — всего один. Есть состояние ума, которое, если его принять, делает вещи намного проще: принимать реальность такой, какая она есть, не жалеть о прошлом, а стараться улучшать ситуацию»

Наступит время, когда ИИ сможет делать все, что умеем мы. Я в этом уверен, потому что

наш мозг — это биологический компьютер

. А если биологический компьютер может это делать, то почему цифровой компьютер не сможет?

Есть цитата: «Вы можете не интересоваться политикой, но политика заинтересуется вами»

.

С ИИ это работает

ещё в большей степени

.

В конце концов, никакие статьи или объяснения не заменят того, что мы видим своими глазами. Главное – не отворачивайтесь от ИИ.

Смотрите внимательно, думайте, готовьтесь.

Когда прилет время, именно это даст вам силы справиться с колоссальными изменениями.

Вызов ИИ –

величайший в истории человечества

. Но и награда за его преодоление может стать самой большой. Нравится вам это или нет — ИИ повлияет на вашу жизнь в огромной степени.