Математика Дата саентиста

DeepSeek снова в игре 🔥 "Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models" Идея мощная: DeepSeek предлагают Engram - модуль памяти, который добавляет к LLM *lookup-память* с доступом за O(1). Что это значит по-человечески: вместо того чтобы каждый раз “вспоминать” шаблоны через слои трансформера, модель может моментально доставать нужные куски знаний из отдельной памяти. Engram - это: - хешированная N-gram память (modernized hashed N-gram embeddings) - которая работает как быстрый словарь: *пришёл паттерн → достали представление → усилили модель* Анализ показывает интересное: 🧠 Engram снижает необходимость ранним слоям заново реконструировать “статичные паттерны” (частые формы, устойчивые токены, регулярные последовательности) ➡️ То есть ранние слои (слои трансформера, которые стоят ближе всего ко входу.) меньше заняты “механической работой”и больше ресурсов остаётся на главное. В результате модель становится как будто глубже там, где надо: - reasoning - планирование - длинные цепочки мыслей Фактически это новый тип sparsity: не только MoE/спарсные слои, а спарсная память с быстрым доступом. Это уже похоже на шаг к LLM, где часть знаний живёт как “кэш-память”, а не внутри весов. Paper: https://github.com/deepseek-ai/Engram/blob/main/Engram_paper.pdf

🧠 Джеффри Хинтон: ИИ может обогнать людей в математике Хинтон считает, что математика - это «закрытая система», а значит ИИ может работать с ней как с игрой с понятными правилами. Модели уже умеют: • ставить себе задачи • проверять собственные доказательства • учиться на своих же ошибках — без примеров от людей

«Я думаю, что ИИ станет гораздо лучше людей в математике - возможно, уже в ближайшие 10 лет».

💡 Если это случится, ИИ сможет не просто решать задачи, а открывать новые теоремы и методы, двигая науку еще быстрее, чем раньше.

⚡️ Wavelet Matrix - структура данных, которая делает сложные запросы быстрыми Wavelet Matrix позволяет хранить последовательности так, чтобы работать с ними молниеносно и компактно. 🔥 Что умеет библиотека: - rank - сколько раз элемент встречается до позиции - select - где находится k-е вхождение элемента - quantile - k-й по величине элемент на отрезке - top-k - самые частые элементы на диапазоне И всё это — за логарифмическое время и с экономией памяти. Чем полезен - работает быстрее, чем наивные структуры - меньше памяти, чем обычные массивы - подходит для поиска, индексирования, сжатия, аналитики Wavelet Matrix - это пример того, как «умные» структуры данных дают реальные ускорения, а не просто красивая теория. Если интересуешься алгоритмами - этот репозиторий точно стоит сохранить. Репозиторий: https://github.com/math-hiyoko/wavelet-matrix @pythonl

⚡️ Математик Теренс Тао - один из самых цитируемых учёных в мире о LLM: Обучать и запускать большие языковые модели не так уж математически сложно: базу вполне может понять обычный студент-математик. Но настоящая загадка в другом - у нас нет теории, которая объясняет, почему модели блестяще решают одни задачи и внезапно проваливаются на других. По словам Тао, сегодня мы можем только пробовать, измерять и сравнивать результаты —

«мы можем делать лишь эмпирические эксперименты».

Это редкое честное признание: ИИ пока работает как инженерия без полноценной науки — сначала строим, потом понимаем.

⚡️ Mo Gawdat: ИИ больше не просто пишет код, он исправляет нашу математику Бывший топ-менеджер Google X Мо Гавдат рассказал: ИИ перестал быть «инструментом программиста». Он начал исправлять человеческие математические методы. 📁 56 лет мы использовали одну и ту же формулу для умножения матриц. ИИ обнаружил, что подход был неэффективным — и придумал новую математику, а не просто оптимизировал софт. Результат: - +23% к производительности - минус сотни миллионов долларов затрат - огромная экономия энергии Это не просто ускорение алгоритмов — это момент, когда ИИ начинает изобретать фундаментальные вещи, на которых стоит весь софт. И будущее становится ещё интереснее.

Япония протестировала передачу энергии из космоса - без проводов и топлива 🚀⚡ Японские инженеры успешно провели тест: солнечные панели в космосе собрали энергию и передали её на Землю по микроволновому каналу. На наземной станции сигнал снова преобразовали в электричество и система заработала. В отличие от наземных солнечных станций, космические панели работают: - без облаков и погоды - без ночи - круглосуточно — 24/7 То есть это потенциально *стабильный источник чистой энергии*. Этот тест ранний, но ключевой шаг к будущим орбитальным солнечным фермам. В перспективе такие системы смогут обеспечивать энергией: - целые города - удалённые и труднодоступные регионы Эксперты считают, что это может стать переломным моментом: космические технологии начинают помогать в борьбе с климатическими проблемами. Пока это эксперимент, но главное доказано: идея работает.

Есть свежая научная статья об искусственном интеллекте твоего авторства? Подавай заявку на участие в Data Fusion Awards 2026 и получи шанс выиграть 1 млн рублей ⚡ Банк ВТБ и Институт ИИ МГУ находятся в поиске авторов, чьи работы могут быть официально признаны научным прорывом в ИИ. За это трое победителей разделят призовой фонд 3 000 000 рублей. Какие темы подходят: — Математический аппарат ИИ — Алгоритмы оптимизации — Машинное обучение и глубокое обучение — Нейроморфные вычисления — Робототехника — Объяснимый ИИ (Explainable AI) — Другие смежные области Для участия принимается научная статья, опубликованная в журнале или материалах конференций за 2025 год. При условии, что заявитель: ✔️ выступает первым в списке авторов; ✔️ имеет аффилиацию с российской организацией, которая упоминается в подаваемой работе. Зарегистрироваться необходимо до 20 января 2026 года на официальном сайте конкурса.

INTELLECT-3 показывает, что открытое RL способно серьёзно улучшить рассуждение и кодирование в open-source моделях 🤖📈 INTELLECT-3 это Mixture-of-Experts модель: - 106B параметров всего - около 12B активны на каждом шаге Главная идея проекта - стек prime-rl. Обучение и инференс идут параллельно: GPU продолжают генерировать длинные ответы, пока тренер обновляет веса. Ничего не простаивает. Что помогает системе работать быстро: - непрерывное батчирование - обновления весов на лету - перекрытие обучения и генерации По сути, открытое RL отставало не из-за метода, а из-за отсутствия правильной инженерии. Пайплайн устроен так: - тренер обновляет модель - пул инференса генерирует ответы - координатор держит всё загруженным и синхронизированным Задачи приходят из модулей-проверяющих с автоскорингом и безопасными песочницами для кода. Старт идёт с GLM-4.5-Air: сначала примеры диалогов и инструментов, затем RL с наградами за правильные решения. Результат впечатляет: - 90.8% на AIME 2024 - открыты и веса, и весь тренировочный стек, так что пайплайн можно воспроизвести Paper: https://arxiv.org/abs/2512.16144

Небанальные прогнозы развития ИИ В новом выпуске подкаста ВТБ «Деньги любят техно» — разговор с Юрием Валентиновичем Визильтером, одним из ключевых экспертов в области ИИ и компьютерного зрения в России. Юрий Визильтер — профессор РАН, научный директор Института искусственного интеллекта МФТИ, директор по направлению ИИ ГосНИИ авиационных систем. В беседе с ведущим подкаста, заместителем руководителя департамента анализа данных и моделирования ВТБ Денисом Суржко, Юрий Валентинович рассказал о личном и профессиональном: с чего начинается карьера исследователя, что формирует её вектор и почему важно не замыкаться на одной теме. Эксперты поговорили об актуальных прорывах в ИИ: где граница между «слабым» и «сильным» ИИ, в каких сферах ИИ уже даёт измеримый эффект, где он помогает (или мешает) науке. И обсудили важное для всех, кто находится в начале карьерного пути в ML и Data Science: какие навыки будут ключевыми для ML‑специалистов в ближайшие 5 лет и в чём сильные стороны отечественной школы. Слушать подкаст можно здесь Смотреть здесь

Окружность круга

⁉️ Хотите стать экспертом в создании торговых роботов и финансовом анализе с ML? 🎯 Курс «ML для финансового анализа» от OTUS — ваш шанс углубить знания в финанализе и создать торговых роботов. Что вас ждёт: ✔️ Полный цикл создания робота: от данных до продакшна. ✔️ Анализ финданных, оценка инструментов, формирование портфеля. ✔️ Практика с нейронными сетями (PyTorch) для автоматизации и прибыли. После курса вы сможете создавать роботов для оценки рисков и операций, размещать их в облаке и работать с биржами. ➡️ Закрытие набора скоро! Успейте присоединиться: https://otus.pw/Opxo/?erid=2W5zFJVjnyE 🎄Учитесь в новом году по старым ценам! Максимальная скидка 30% 🎁 на обучение до 26.12.2025: 1 курс — тающая скидка 15% до 26.12 2 курса −25%, 3 курса −30% Учиться системно — выгоднее! Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

📌Итоги года от Андрея Карпаты.

2025 год был захватывающим годом для языковых моделей. Они проявились как новый вид интеллекта, одновременно гораздо более умный и гораздо более глупый, чем я ожидал. Я думаю, что индустрия не реализовала хотя бы 10% их потенциала даже при нынешних возможностях. Я одновременно верю и в то, что мы увидим быстрый и непрерывный прогресс, и в то, что впереди еще очень много работы. Пристегнитесь.

🟡Обучение с подкреплением на основе проверяемых вознаграждений (RLVR) В 2025-м стек обучения LLM дополнился новой ключевой стадией оптимизации по объективным наградам. Он заставляет модели самостоятельно находить стратегии рассуждения. Прогресс года в том, что создание моделей стало не про увеличение размера модели, а про более длительные RLVR-прогоны. Это также дало новый рычаг управления: "время размышления" на инференсе. Первопроходец - OpenAI o1, а переломный момент - o3. 🟡Интеллект современных LLM принципиально отличен от человеческого Интеллект LLM формируется под давлением специфических оптимизаций и на выходе мы имеем резкие всплески способностей в рядом с грубыми ошибками. Из-за этого бенчмарки теряют смысл: под них напрямую оптимизируются, что не ведёт к созданию AGI. 🟡Cursor - это новый слой LLM-приложений Это не просто интерфейс к условной модели, а сложная оркестрация работы LLM под конкретные вертикали, c управляемым контекстом, вызовами и интерфейсом. Cursor создаёт отдельную ценностную прослойку между LLM-лабораториями и конечными пользователями. 🟡Claude Code В отличие от облачных агентов, он использует ваши данные, контекст и инструменты для ризонинга и вызова инструментов. Его фишка - в низкой задержке, приватности и глубокой интеграции в рабочее окружение. Это сдвиг от ИИ как «сайта» к напарнику-помощнику в вашей системе.

Я думаю, OpenAI допустили ошибку, сосредоточив свои усилия по созданию агентов в облаке и управляемых из ChatGPT, вместо localhost.

🟡Вайб-кодинг В 2025 году ИИ преодолел порог, позволяющий через текстовые инструкции создавать работающие программы. Это демократизирует программирование, позволяя непрофессионалам писать код, а экспертам - быстро прототипировать без глубокого погружения. Код становится эфемерным, гибким и бесплатным ресурсом.

Забавно, что я придумал термин «вайб-кодинг» в этом твите с мыслями из душа, совершенно не представляя, как далеко это зайдет :)

🟡LLM GUI и Nano banana Взаимодействие с ИИ через чат - это аналог командной строки 80-х, неудобный для человека. Будущее за LLM GUI интерфейсом, где ИИ общается визуально (инфографика, анимации, веб-приложения). Nano banana - ранний пример такого взаимодействия, в ней объединены генерация текста, изображений и общие знания.

Google Gemini Nano banana — одна из самых невероятных, меняющих парадигму моделей 2025 года.

🔜 Читать статью полностью @ai_machinelearning_big_data

🔥 На stepik вышел курс, который учит Создавать настоящие AI-сервисы, а не просто запускать скрипты? Этот практический курс по Python и FastAPI покажет, как собрать полноценное приложение с ИИ, базой данных, автогенерацией контента и Telegram-ботом. Ты пройдёшь путь от первого HTTP-запроса до рабочего сервиса, который сам генерирует текст через ИИ, сохраняет данные, отправляет результаты по расписанию и отвечает пользователям. Никакой теории ради теории - только практические шаги, из которых рождается реальный продукт. 🎁 48 часов действует скидка в 40% процентов 👉 Начать учиться на Stepik

🚀 Квантовый процессор Google может стать в 1 000 раз эффективнее благодаря новому кубиту из Принстона. Исследователи из Принстона создали сверхпроводящий кубит с резко увеличенным временем когерентности — порядка миллисекунд вместо привычных микросекунд у современных дизайнов. Ключ к прорыву — материалы: - тантал - высокочистый кремний Такое сочетание существенно снижает потери энергии, которые и ограничивают время когерентности кубитов. Почему это важно: - более длинная когерентность = меньше ошибок - меньше ошибок = гораздо более полезные вычисления - при масштабировании эффект усиливается В теории, если такой кубит встроить в уже существующие квантовые процессоры (включая решения Google), можно получить до ~1 000× прироста эффективной производительности без изменения алгоритмов. Важно подчеркнуть: - это не софтверный трюк - это прорыв в материалах и производстве - он напрямую бьёт по одному из главных bottleneck’ов масштабируемых квантовых вычислений Редкий случай, когда улучшение на уровне физики может радикально изменить всю траекторию развития технологии. https://interestingengineering.com/innovation/princeton-built-qubit-works-1000-times-better

🧠 Теренс Тао о текущем ИИ и AGI Математик Теренс Тао считает, что современные ИИ вряд ли скоро достигнут настоящего AGI, но уже становятся «в целом умными» — решают сложные задачи за счёт ad-hoc приёмов и brute force. Я с этим не до конца согласен. Даже Тао — как и почти любой эксперт — скорее всего сильно недооценил бы, насколько мощным ИИ будет выглядеть к 2025 году. Реальный прогресс уже превзошёл большинство прежних ожиданий. Темпы развития сейчас настолько высокие, что прогнозы на 2030–2035 годы — это в основном догадки, а не надёжные предсказания. Поэтому самая разумная позиция сегодня: - оставаться скептичным - смотреть на то, что реально работает, а не на теории - постоянно обновлять своё мнение по мере изменения реальности ИИ развивается быстрее, чем наши модели будущего — и это уже стало повторяющимся паттерном.

Что важно знать ML-специалисту и как ему помогает математика Этот вопрос стал одним из центральных в новом выпуске Machine Learning Podcast, где в гостях у Михаила Крыжановского был Алексей Толстиков — руководитель Школы анализа данных Яндекса, кандидат физико-математических наук и эксперт в олимпиадном программировании. Ключевые поинты: • Почему настоящая подготовка сильных ИИ-специалистов начинается не с нейросетей и фреймворков, а с серьёзного математического фундамента — матанализа, линейной алгебры и теории вероятностей. Я уже писал о том, насколько важна математика для ML-щика, здесь Толстиков это неоднократно подтверждает. • Как LLM меняют образование • Почему выпускники ШАДа востребованы по всему миру и не обязаны идти в Яндекс • Куда в целом движется подготовка кадров в эпоху быстрых технологических сдвигов. Полезно послушать всем, кто работает или хочет работать в ML и ИИ — от джунов до сеньоров. Слушать подкаст

⚡️ Очень понятная и сильная идея в этой работе Авторы берут замороженные DINOv2 / SigLIP и превращают их в генеративную модель через Feature Auto-Encoder (FAE) - всего с одним attention-слоем. Главная мысль: 👉 не пытаться сразу генерировать пиксели. Сначала модель учится восстанавливать признаки teacher-модели, а уже потом отдельный декодер превращает их в изображение. Как это делают: - из изображения получают признаки DINOv2 / SigLIP - сжимают их в очень маленький латент (всего 32 измерения) - обучают модель восстанавливать эти признаки, сохраняя их семантику - только после этого включают пиксельный декодер Зачем это нужно: Так 32-мерный латент сохраняет смысл изображения, а не просто пиксельную статистику. Два ключевых трюка: 1️⃣ Gaussian Embedding Decoder Пиксельный декодер заранее учат на признаках с добавленным шумом. Это делает генерацию устойчивой и не даёт модели «развалиться» при обучении. 2️⃣ Time Shift Смещение по времени в flow-matching помогает согласовать маленький латент и большое пространство изображений, ускоряя сходимость. Результат: - FID 1.29 на ImageNet-256 - обучение в 10 раз быстрее обычных подходов (80 эпох вместо 800) Вывод: Можно получить топовое качество генерации, если сначала научить модель думать в признаках, а не сразу рисовать пиксели. https://huggingface.co/papers/2512.07829

Год подходит к концу, сроки горят, локальное оборудование перегружено? Переходи в GPU-облако immers.cloud: 💰 Посекундная тарификация: тарифы от 23 руб/час, платите только за время, когда сервер реально работает. ⚡️ Быстрый старт: Виртуальная машина готова к работе за 2–3 минуты. 📈 Гибкость и масштабируемость: 13 моделей видеокарт на выбор

RTX 4090, RTX 3080 и RTX 4090 — для рендеринга, генерации изображений и гейминга; H100 (80GB) и H200 (141GB) — для обучения и инференса LLM с большой памятью; RTX 5090 (32GB) — для задач ИИ и тяжелых сцен в Blender, Octane, Redshift.

🔧 Удобство: готовые образы для ваших задач, чтобы не тратить время на настройку.

А также: заморозка (shelve) — не платите за время простоя сервера, resize — смена конфигурации сервера в несколько кликов, бесплатный интернет канал — скорость до 20Гбит/сек без ограничений в объеме трафика.

👉 Ускорить проекты в облаке 👉 Все доступные образы