Математика Дата саентиста

INTELLECT-3 показывает, что открытое RL способно серьёзно улучшить рассуждение и кодирование в open-source моделях 🤖📈 INTELLECT-3 это Mixture-of-Experts модель: - 106B параметров всего - около 12B активны на каждом шаге Главная идея проекта - стек prime-rl. Обучение и инференс идут параллельно: GPU продолжают генерировать длинные ответы, пока тренер обновляет веса. Ничего не простаивает. Что помогает системе работать быстро: - непрерывное батчирование - обновления весов на лету - перекрытие обучения и генерации По сути, открытое RL отставало не из-за метода, а из-за отсутствия правильной инженерии. Пайплайн устроен так: - тренер обновляет модель - пул инференса генерирует ответы - координатор держит всё загруженным и синхронизированным Задачи приходят из модулей-проверяющих с автоскорингом и безопасными песочницами для кода. Старт идёт с GLM-4.5-Air: сначала примеры диалогов и инструментов, затем RL с наградами за правильные решения. Результат впечатляет: - 90.8% на AIME 2024 - открыты и веса, и весь тренировочный стек, так что пайплайн можно воспроизвести Paper: https://arxiv.org/abs/2512.16144

Небанальные прогнозы развития ИИ В новом выпуске подкаста ВТБ «Деньги любят техно» — разговор с Юрием Валентиновичем Визильтером, одним из ключевых экспертов в области ИИ и компьютерного зрения в России. Юрий Визильтер — профессор РАН, научный директор Института искусственного интеллекта МФТИ, директор по направлению ИИ ГосНИИ авиационных систем. В беседе с ведущим подкаста, заместителем руководителя департамента анализа данных и моделирования ВТБ Денисом Суржко, Юрий Валентинович рассказал о личном и профессиональном: с чего начинается карьера исследователя, что формирует её вектор и почему важно не замыкаться на одной теме. Эксперты поговорили об актуальных прорывах в ИИ: где граница между «слабым» и «сильным» ИИ, в каких сферах ИИ уже даёт измеримый эффект, где он помогает (или мешает) науке. И обсудили важное для всех, кто находится в начале карьерного пути в ML и Data Science: какие навыки будут ключевыми для ML‑специалистов в ближайшие 5 лет и в чём сильные стороны отечественной школы. Слушать подкаст можно здесь Смотреть здесь

Окружность круга

⁉️ Хотите стать экспертом в создании торговых роботов и финансовом анализе с ML? 🎯 Курс «ML для финансового анализа» от OTUS — ваш шанс углубить знания в финанализе и создать торговых роботов. Что вас ждёт: ✔️ Полный цикл создания робота: от данных до продакшна. ✔️ Анализ финданных, оценка инструментов, формирование портфеля. ✔️ Практика с нейронными сетями (PyTorch) для автоматизации и прибыли. После курса вы сможете создавать роботов для оценки рисков и операций, размещать их в облаке и работать с биржами. ➡️ Закрытие набора скоро! Успейте присоединиться: https://otus.pw/Opxo/?erid=2W5zFJVjnyE 🎄Учитесь в новом году по старым ценам! Максимальная скидка 30% 🎁 на обучение до 26.12.2025: 1 курс — тающая скидка 15% до 26.12 2 курса −25%, 3 курса −30% Учиться системно — выгоднее! Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

📌Итоги года от Андрея Карпаты.

2025 год был захватывающим годом для языковых моделей. Они проявились как новый вид интеллекта, одновременно гораздо более умный и гораздо более глупый, чем я ожидал. Я думаю, что индустрия не реализовала хотя бы 10% их потенциала даже при нынешних возможностях. Я одновременно верю и в то, что мы увидим быстрый и непрерывный прогресс, и в то, что впереди еще очень много работы. Пристегнитесь.

🟡Обучение с подкреплением на основе проверяемых вознаграждений (RLVR) В 2025-м стек обучения LLM дополнился новой ключевой стадией оптимизации по объективным наградам. Он заставляет модели самостоятельно находить стратегии рассуждения. Прогресс года в том, что создание моделей стало не про увеличение размера модели, а про более длительные RLVR-прогоны. Это также дало новый рычаг управления: "время размышления" на инференсе. Первопроходец - OpenAI o1, а переломный момент - o3. 🟡Интеллект современных LLM принципиально отличен от человеческого Интеллект LLM формируется под давлением специфических оптимизаций и на выходе мы имеем резкие всплески способностей в рядом с грубыми ошибками. Из-за этого бенчмарки теряют смысл: под них напрямую оптимизируются, что не ведёт к созданию AGI. 🟡Cursor - это новый слой LLM-приложений Это не просто интерфейс к условной модели, а сложная оркестрация работы LLM под конкретные вертикали, c управляемым контекстом, вызовами и интерфейсом. Cursor создаёт отдельную ценностную прослойку между LLM-лабораториями и конечными пользователями. 🟡Claude Code В отличие от облачных агентов, он использует ваши данные, контекст и инструменты для ризонинга и вызова инструментов. Его фишка - в низкой задержке, приватности и глубокой интеграции в рабочее окружение. Это сдвиг от ИИ как «сайта» к напарнику-помощнику в вашей системе.

Я думаю, OpenAI допустили ошибку, сосредоточив свои усилия по созданию агентов в облаке и управляемых из ChatGPT, вместо localhost.

🟡Вайб-кодинг В 2025 году ИИ преодолел порог, позволяющий через текстовые инструкции создавать работающие программы. Это демократизирует программирование, позволяя непрофессионалам писать код, а экспертам - быстро прототипировать без глубокого погружения. Код становится эфемерным, гибким и бесплатным ресурсом.

Забавно, что я придумал термин «вайб-кодинг» в этом твите с мыслями из душа, совершенно не представляя, как далеко это зайдет :)

🟡LLM GUI и Nano banana Взаимодействие с ИИ через чат - это аналог командной строки 80-х, неудобный для человека. Будущее за LLM GUI интерфейсом, где ИИ общается визуально (инфографика, анимации, веб-приложения). Nano banana - ранний пример такого взаимодействия, в ней объединены генерация текста, изображений и общие знания.

Google Gemini Nano banana — одна из самых невероятных, меняющих парадигму моделей 2025 года.

🔜 Читать статью полностью @ai_machinelearning_big_data

🔥 На stepik вышел курс, который учит Создавать настоящие AI-сервисы, а не просто запускать скрипты? Этот практический курс по Python и FastAPI покажет, как собрать полноценное приложение с ИИ, базой данных, автогенерацией контента и Telegram-ботом. Ты пройдёшь путь от первого HTTP-запроса до рабочего сервиса, который сам генерирует текст через ИИ, сохраняет данные, отправляет результаты по расписанию и отвечает пользователям. Никакой теории ради теории - только практические шаги, из которых рождается реальный продукт. 🎁 48 часов действует скидка в 40% процентов 👉 Начать учиться на Stepik

🚀 Квантовый процессор Google может стать в 1 000 раз эффективнее благодаря новому кубиту из Принстона. Исследователи из Принстона создали сверхпроводящий кубит с резко увеличенным временем когерентности — порядка миллисекунд вместо привычных микросекунд у современных дизайнов. Ключ к прорыву — материалы: - тантал - высокочистый кремний Такое сочетание существенно снижает потери энергии, которые и ограничивают время когерентности кубитов. Почему это важно: - более длинная когерентность = меньше ошибок - меньше ошибок = гораздо более полезные вычисления - при масштабировании эффект усиливается В теории, если такой кубит встроить в уже существующие квантовые процессоры (включая решения Google), можно получить до ~1 000× прироста эффективной производительности без изменения алгоритмов. Важно подчеркнуть: - это не софтверный трюк - это прорыв в материалах и производстве - он напрямую бьёт по одному из главных bottleneck’ов масштабируемых квантовых вычислений Редкий случай, когда улучшение на уровне физики может радикально изменить всю траекторию развития технологии. https://interestingengineering.com/innovation/princeton-built-qubit-works-1000-times-better

🧠 Теренс Тао о текущем ИИ и AGI Математик Теренс Тао считает, что современные ИИ вряд ли скоро достигнут настоящего AGI, но уже становятся «в целом умными» — решают сложные задачи за счёт ad-hoc приёмов и brute force. Я с этим не до конца согласен. Даже Тао — как и почти любой эксперт — скорее всего сильно недооценил бы, насколько мощным ИИ будет выглядеть к 2025 году. Реальный прогресс уже превзошёл большинство прежних ожиданий. Темпы развития сейчас настолько высокие, что прогнозы на 2030–2035 годы — это в основном догадки, а не надёжные предсказания. Поэтому самая разумная позиция сегодня: - оставаться скептичным - смотреть на то, что реально работает, а не на теории - постоянно обновлять своё мнение по мере изменения реальности ИИ развивается быстрее, чем наши модели будущего — и это уже стало повторяющимся паттерном.

Что важно знать ML-специалисту и как ему помогает математика Этот вопрос стал одним из центральных в новом выпуске Machine Learning Podcast, где в гостях у Михаила Крыжановского был Алексей Толстиков — руководитель Школы анализа данных Яндекса, кандидат физико-математических наук и эксперт в олимпиадном программировании. Ключевые поинты: • Почему настоящая подготовка сильных ИИ-специалистов начинается не с нейросетей и фреймворков, а с серьёзного математического фундамента — матанализа, линейной алгебры и теории вероятностей. Я уже писал о том, насколько важна математика для ML-щика, здесь Толстиков это неоднократно подтверждает. • Как LLM меняют образование • Почему выпускники ШАДа востребованы по всему миру и не обязаны идти в Яндекс • Куда в целом движется подготовка кадров в эпоху быстрых технологических сдвигов. Полезно послушать всем, кто работает или хочет работать в ML и ИИ — от джунов до сеньоров. Слушать подкаст

⚡️ Очень понятная и сильная идея в этой работе Авторы берут замороженные DINOv2 / SigLIP и превращают их в генеративную модель через Feature Auto-Encoder (FAE) - всего с одним attention-слоем. Главная мысль: 👉 не пытаться сразу генерировать пиксели. Сначала модель учится восстанавливать признаки teacher-модели, а уже потом отдельный декодер превращает их в изображение. Как это делают: - из изображения получают признаки DINOv2 / SigLIP - сжимают их в очень маленький латент (всего 32 измерения) - обучают модель восстанавливать эти признаки, сохраняя их семантику - только после этого включают пиксельный декодер Зачем это нужно: Так 32-мерный латент сохраняет смысл изображения, а не просто пиксельную статистику. Два ключевых трюка: 1️⃣ Gaussian Embedding Decoder Пиксельный декодер заранее учат на признаках с добавленным шумом. Это делает генерацию устойчивой и не даёт модели «развалиться» при обучении. 2️⃣ Time Shift Смещение по времени в flow-matching помогает согласовать маленький латент и большое пространство изображений, ускоряя сходимость. Результат: - FID 1.29 на ImageNet-256 - обучение в 10 раз быстрее обычных подходов (80 эпох вместо 800) Вывод: Можно получить топовое качество генерации, если сначала научить модель думать в признаках, а не сразу рисовать пиксели. https://huggingface.co/papers/2512.07829

Год подходит к концу, сроки горят, локальное оборудование перегружено? Переходи в GPU-облако immers.cloud: 💰 Посекундная тарификация: тарифы от 23 руб/час, платите только за время, когда сервер реально работает. ⚡️ Быстрый старт: Виртуальная машина готова к работе за 2–3 минуты. 📈 Гибкость и масштабируемость: 13 моделей видеокарт на выбор

RTX 4090, RTX 3080 и RTX 4090 — для рендеринга, генерации изображений и гейминга; H100 (80GB) и H200 (141GB) — для обучения и инференса LLM с большой памятью; RTX 5090 (32GB) — для задач ИИ и тяжелых сцен в Blender, Octane, Redshift.

🔧 Удобство: готовые образы для ваших задач, чтобы не тратить время на настройку.

А также: заморозка (shelve) — не платите за время простоя сервера, resize — смена конфигурации сервера в несколько кликов, бесплатный интернет канал — скорость до 20Гбит/сек без ограничений в объеме трафика.

👉 Ускорить проекты в облаке 👉 Все доступные образы

🧠 Инструмент для решения математических задач Nomos - это интеллектуальная платформа для решения математических задач и написания доказательств на естественном языке. Она использует параллельные рабочие процессы для генерации и оценки решений, обеспечивая высокую эффективность и точность. 🚀Основные моменты: - Решение задач с помощью модели Nomos-1. - Параллельная работа для ускорения процесса. - Финализация результатов через турниры и консолидацию. - Оценка решений по 7-балльной шкале. 📌 GitHub: https://github.com/NousResearch/nomos #python

🧠 Новая работа Anthropic: как «локализовать» опасные знания внутри небольшого участка модели, а не размазывать их по всем весам. Проблема: LLM легко впитывают рискованные навыки из грязных датасетов - вредный контент может проскочить фильтры, попасть в обучение, а затем его почти невозможно полностью удалить. Обычно такие знания распределяются по всей сети. Идея работы: Исследователи заранее выделяют крошечную часть модели — небольшой набор нейронов и attention-голов - и обозначают его как «рискованную зону». Именно там должна храниться целевая опасная информация. Как это работает: - Во время обучения рискованные примеры обновляют только эту зону, сигналы градиента к остальным весам обнуляются. - Нормальные примеры наоборот - обучаются с отключённой risky-зоной. - После обучения исследователи обнуляют веса risky-зоны, удаляя опасные знания, но почти не трогая общие способности модели. Почему это эффективно: Ранние размеченные опасные данные «прокладывают путь» - вся дальнейшая утечка вредных знаний из неразмеченного или ошибочно размеченного датасета также направляется в ту же область. В результате вредные навыки не расползаются по всей модели. Результаты: - На задачах с билингвальными историями, а также с биологическими и военными темами из Википедии этот метод значительно лучше удаляет целевые знания, чем простая фильтрация данных. - Модель становится гораздо устойчивее к adversarial fine-tuning, который обычно восстанавливает запрещённые навыки. - Минус - требуется больше вычислительных ресурсов. Это первые шаги к практическому и управляемому «удалению способностей» из LLM через локализацию знаний, а не через попытки чистить датасеты или послеобучение. Paper: arxiv.org/abs/2512.05648

⏳ Открытый урок «Частотный портрет временных рядов: от Фурье к Вейвлетам и обратно»/ 🗓 15 декабря в 20:00 МСК 🆓 Бесплатно 📍 Программа вебинара: ✔️ Рассмотрим как преобразование Фурье превращает временной ряд в композицию из чистых частот и позволяет найти скрытые закономерности временных рядов ✔️ Узнаем недостатки преобразования Фурье, и как Вейвлет-анализ дает нам суперсилу: видеть КОГДА и НА КАКОЙ частоте произошло ключевое событие (внезапный обвал, всплеск волатильности) ✔️ Live-разбор на Python: как выделить сезонность, отфильтровать рыночный шум, классифицировать временные ряды ✔️ Ответы на ваши вопросы: когда использовать Фурье, а когда Вейвлеты? Как интерпретировать полученные спектрограммы? Не превратим ли мы сложные данные в еще более сложные картинки? И главное - как это применить для реальных задач предиктивной аналитики 🔗 Ссылка на регистрацию: https://otus.pw/p39U/?erid=2W5zFJHfTfn Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

⚡️ Google DeepMind представила FACTS Benchmark - новый набор тестов для оценки фактической точности LLM. Коротко: - DeepMind и Kaggle запустили FACTS Benchmark Suite для системного измерения фактической точности моделей в разных режимах. - В набор входят 4 направления: • Parametric - проверка внутреннего знания модели • Search - ответы с использованием веб-поиска • Multimodal - вопросы на основе изображений • Grounding v2 - ответы на основе предоставленного контекста - Всего 3 513 примеров; часть данных скрыта и используется только для официальной оценки и лидерборда. - Топовые модели прошли тестирование: Gemini 3 Pro показывает лучший общий результат - 68.8% FACTS Score, значительно опередив Gemini 2.5 Pro, особенно в задачах Search и Parametric. - Самой сложной областью остаётся мультимодальная фактуальность - ни одна модель не превысила порог в 70%, что показывает, насколько далеко ещё можно улучшать точность. Новый бенчмарк даёт более реалистичную картину того, как модели справляются с фактами в разных режимах и насколько они надёжны в реальном использовании. https://deepmind.google/blog/facts-benchmark-suite-systematically-evaluating-the-factuality-of-large-language-models

🐍 Математический совет для новичков в Python: Когда нужно считать суммы, средние или агрегаты по большим спискам, не пиши циклы вручную — используй встроенные функции и из модуля math / statistics: они быстрее, точнее и читаются лучше. Например, вместо:

total = 0
for x in data:
    total += x

пиши:

sum(data)

То же с средним: statistics.mean(data) даёт correct rounding и устойчивость к ошибкам. Это мелочь, но она ускоряет код и делает его математически корректнее.

Находка для тех, кто хочет сразу попасть в сердце R&D в ML: 🧠 Weekend Offer ML в Яндексе 13-14 декабря Мероприятие даст возможность DL- и инфраструктурным инженерам с опытом в NLP, CV, ASR, TTS, RecSys получить офер всего за два дня 🖇 Ищут спецов в команды: ⚪Alice AI LLM (YandexGPT) ⚪Компьютерного зрения ⚪Яндекс Переводчика и Клавиатуры ⚪Яндекс Клавиатуры ⚪Технологий голосового ввода ⚪Рекомендательных технологий ⚪Синтеза речи Самое крутое – в этот раз достаточно пройти всего две технические секции вместо обычных трех 💻 Суббота — секция по Classic ML & Programming и узкоспециализированная секция по вашему домену Воскресенье — финалы с командами Чтобы лучше подготовиться к секциям, можно заранее прорешать задачи уровня medium из Яндекс Контеста и LeetCode. Регистрация закрывается 9 декабря в 12:00 мск. Все подробности и регистрация по ссылке

Находка для тех, кто хочет сразу попасть в сердце R&D в ML: 🧠 Weekend Offer ML в Яндексе 13-14 декабря Мероприятие даст возможность DL- и инфраструктурным инженерам с опытом в NLP, CV, ASR, TTS, RecSys получить офер всего за два дня 🖇 Ищут спецов в команды: ⚪Alice AI LLM (YandexGPT) ⚪Компьютерного зрения ⚪Яндекс Переводчика и Клавиатуры ⚪Яндекс Клавиатуры ⚪Технологий голосового ввода ⚪Рекомендательных технологий ⚪Синтеза речи Самое крутое – в этот раз достаточно пройти всего две технические секции вместо обычных трех 💻 Суббота — секция по Classic ML & Programming и узкоспециализированная секция по вашему домену Воскресенье — финалы с командами Чтобы лучше подготовиться к секциям, можно заранее прорешать задачи уровня medium из Яндекс Контеста и LeetCode. Регистрация закрывается 9 декабря в 12:00 мск. Все подробности и регистрация по ссылке

🇨🇳 Китай официально начал продавать первый в мире квантовый компьютер на атомной базе — момент, когда квантовое железо выходит из лабораторий в коммерческий рынок. В отличие от сверхпроводниковых или ионных систем, эта машина использует отдельные атомы, расположенные в оптических решётках. Такие атомы работают как стабильные кубиты с намного более длительным временем когерентности — меньше ошибок, значит можно выполнять глубже и сложнее вычисления. Первые демонстрации показали работу над молекулярными симуляциями, взломом криптографии и оптимизационными задачами, которые доводят классические суперкомпьютеры до предела. Управляя атомами с помощью ультра-точных лазеров, разработчики добились уровня контроля, при котором атомные кубиты становятся особенно надёжными для реальных научных и промышленных задач. Впервые университеты, корпорации и исследцентры могут купить полноценный атомный квантовый компьютер, а не пользоваться им через облако. Это открывает путь к частному квантовому поиску лекарств, разработке новых материалов, ускорению ИИ и тестированию будущей кибербезопасности. Аналитики предупреждают: это может резко ускорить глобальную квантовую гонку и изменить баланс технологической мощи в ближайшие десятилетия. #QuantumComputing https://x.com/ShiningScience/status/1997633207957926118