Data Portal | DS & ML

«Learning Mathematics» — самая читаемая публикация за всю историю алгебры. Автор очень лично рассказывает о том, что математика — не что-то, доступное только людям с особым талантом или врождённым даром. Ей может научиться каждый — постепенно, шаг за шагом, с практикой, временем и упорством. Если вы хотя бы раз думали «математика просто не для меня», возможно, эту статью стоит прочитать. https://algebrica.org/learning-mathematics/

Полный курс по Hugging Face Transformers. Что вы изучите: — Поймёте устройство трансформеров и LLM без отношения к ним как к «чёрному ящику» — Разберётесь, как модели обучаются, оптимизируются и улучшаются на данных — Научитесь работать с последовательностями, текстом и задачами языкового моделирования — Сформируете практическое понимание этой части LLM и генеративного ИИ — Разберётесь с последовательностными моделями вроде RNN и LSTM для задач обработки естественного языка https://www.youtube.com/playlist?list=PLOj3JD_j8uXEsxFZGcRyjI_ZawoSvCfti

Если хотите разобраться, как обучить большую модель с нуля, рекомендую посмотреть вот это ↓ Сооснователь ARC Prize и создатель Keras Франсуа Шолле недавно посоветовал путь для изучения LLM с нуля. Он сказал, что если вам 17 лет или вообще сколько угодно и вы хотите с нуля научиться создавать LLM, просто прочитайте главы 15 и 16 его книги *Deep Learning with Python*. Я бегло их просмотрел, и эти две главы точно стоит сохранить. Глава 15 начинается с самых базовых языковых моделей и постепенно доходит до Character-level Language Model → Seq2Seq → Attention → QKV → Scaled Dot-Product Attention → Multi-Head Attention → Self-Attention → Transformer Там даже есть отдельный раздел с объяснением того, почему вообще работает Dot-Product Attention. Сам он говорит, что это одно из лучших объяснений этой темы. Автор не останавливается на формулах вроде QKᵀ / √d. Он начинает с Word2Vec и пространства эмбеддингов, а затем объясняет, как Transformer слой за слоем через Attention постепенно превращает связи между токенами в отношения расстояний в векторном пространстве. Глава 16 ещё практичнее. В ней напрямую показывают, как обучить mini-GPT с нуля. Разбирается, как взять почти 1 миллиард токенов из C4, собрать словарь SentencePiece на 32 тысячи токенов, настроить mini-GPT на 41 миллион параметров с 8 слоями, 8 головами внимания и размером скрытого состояния 512, а затем самостоятельно собрать конвейер данных, сделать weight tying, прогрев скорости обучения, предобучение и генерацию с temperature и top-k. От токенизатора, конвейера данных, causal attention, weight tying и прогрева скорости обучения до предобучения, greedy decoding, temperature и top-k sampling. По сути, вас шаг за шагом проводят через полный процесс обучения GPT. Для этого даже не нужен дорогой сервер. В официальном примечании указано, что весь пример можно запустить на бесплатной T4 в Google Colab. Обучение займёт около 6 часов. На A100 — чуть больше часа. Дальше в книге разбираются Gemma, SFT, RLHF, RAG и мультимодальные модели. Поэтому если меня спросят «Я никогда раньше не обучал большую модель. С чего начать?» Эти две главы действительно могут быть отличной отправной точкой. Третье издание *Deep Learning with Python* сейчас доступно для бесплатного чтения онлайн, а все сопутствующие ноутбуки полностью открыты. Их можно просто загрузить в Colab и запустить. В 2026 году для изучения LLM уже необязательно сразу садиться и разбирать сотню научных статей. Если один раз самостоятельно обучить GPT на 41 миллион параметров от подготовки данных до генерации текста, очень многие концепции после этого естественным образом складываются в единую картину. 👉 @PythonPortal

Лекции курса «Machine Learning & Causal Inference: A Short Course», подготовленного профессором Стэнфордского университета Сьюзан Эйти, можно посмотреть по ссылке ниже. https://youtube.com/playlist?list=PLxq_lXOUlvQAoWZEqhRqHNezS30lI49G-&si=uwNV2GcR4yOBQA_d

«Complex Analysis» — ещё один большой открытый учебник по основам комплексного анализа объёмом более 470 страниц. Он рассчитан на студентов математики, физики и инженерных специальностей и охватывает комплексные числа и функции, аналитические и гармонические функции, контурное интегрирование, ряды Тейлора и Лорана, теорию вычетов, конформные отображения, ряды Фурье, а также преобразования Фурье и Лапласа. Материал начинается с базовых тем и постепенно переходит к более сложным. Для чтения желательно уже знать математический анализ, особенно функции нескольких переменных. При этом учебник написан очень понятно, в нём много примеров, приложений и упражнений. Я бы сохранил его как хороший справочник. Учебник полностью открыт и доступен бесплатно. https://complexanalysis.org/howell-complex-analysis-web.pdf

Вышел, пожалуй, самый полный список материалов для изучения производительности GPU и ИИ. Новая версия начинается с разбора того, как выполняется один запрос на инференс, а затем постепенно переходит к модели выполнения CUDA, Roofline, вычислительной арифметике трансформеров, TTFT, TPOT, goodput и оптимизации ядер. Именно эти материалы мы используем, чтобы глубоко разобраться в том, как оптимизировать системы инференса. Также добавили FlashAttention-4, Tensor Memory в Blackwell и низкоточные тензорные ядра, непрерывный батчинг, системы KV-кэша, квантизацию, спекулятивное и структурированное декодирование. Отдельно разбираются обслуживание MoE-моделей, коллективные операции, топология, разделение prefill и decode, а также Blackwell Ultra, MI350/CDNA 4, Ironwood и Trainium3. Ещё появились KernelBench-Verified и SOL-ExecBench, плюс отдельный список технологий, за которыми стоит следить — Rubin и CDNA 5. https://github.com/wafer-ai/gpu-perf-engineering-resources

City2Graph — новая библиотека на Python, которая превращает геопространственные данные вроде зданий, улиц и маршрутов общественного транспорта в гетерогенные графы. Она связывает GeoPandas с PyTorch Geometric, чтобы такие городские данные можно было напрямую использовать в графовом машинном обучении. https://github.com/c2g-dev/city2graph

Высокоуровневые библиотеки машинного обучения упрощают обучение с подкреплением, но могут скрывать то, что на самом деле происходит внутри. В этом курсе вы с нуля создадите полноценный фреймворк для обучения с подкреплением на чистом C. Вы реализуете автоматическое дифференцирование, матричные операции и конвейер обучения методом градиента политики. А заодно создадите симуляцию игры «Змейка». https://freecodecamp.org/news/building-a-reinforcement-learning-framework-from-scratch-in-pure-c/

Интерактивный учебник на 7 500 строк, который учит с нуля собирать современную языковую модель. Весь путь реализован на Python, а код подробно прокомментирован, чтобы можно было последовательно разобраться, как устроено обучение GPT-подобной модели, а не просто запускать готовые библиотеки. https://github.com/raiyanyahya/how-to-train-your-gpt

«Functional Analysis» — строгий продвинутый учебник по математике объёмом более 700 страниц для магистрантов, аспирантов и читателей с хорошей математической подготовкой. В книге разбираются пространства Банаха и Гильберта, ограниченные операторы, двойственность, теоремы Хана — Банаха, топологии, спектральная теория, краевые задачи, теория полугрупп и приложения к квантовой механике, а также многие другие темы. Для чтения нужна уверенная база по вещественному анализу и интегралу Лебега, поэтому это точно не вводный материал. Делюсь, потому что книга очень полная, хорошо написана и её определённо стоит сохранить, если вы изучаете продвинутый математический анализ. https://arxiv.org/pdf/2112.11166

Безумие: теперь можно буквально в прямом эфире смотреть, как обучают модель на 535 млрд параметров. Профессор Стэнфорда и основатель simile_ai Перси Лян только что объявил, что на этой неделе официально стартует обучение их новой модели Marin 535B-A23B. И весь процесс обучения будет полностью открытым. У Marin 535 млрд параметров, из которых 23 млрд активны. Для обучения команда подготовила 18,75 трлн токенов данных и развернула 11 стоек GB200 NVL72 — это примерно 792 ускорителя GB200. Обучение планируют вести непрерывно около трёх месяцев. Общий объём вычислений составит примерно 2,7×10²⁴ FLOPs. После этого начнётся дополнительное обучение модели. И самое интересное — Marin действительно открывает весь процесс. Перед запуском основной модели команда сначала обучила так называемую Scaling Ladder из четырёх моделей — от 1,6B-A61M до 27,7B-A1.2B. Эти меньшие модели использовали, чтобы заранее предсказать потери и поведение основной модели на 535 млрд параметров. Теперь основное обучение уже запущено, и любой желающий может в реальном времени следить за кривыми обучения. Данные, журналы экспериментов и возникающие инженерные проблемы тоже будут постепенно публиковаться. Подобное уже было. В 2022 году, когда BigScience обучала BLOOM на 176 млрд параметров, прогресс обучения и TensorBoard тоже были открыты. Но теперь Marin поднимает масштаб публичного обучения сразу до 535 млрд параметров. Судя по всему, это одно из крупнейших обучений большой модели, за которым человечество когда-либо могло наблюдать публично. Следующие три месяца должны быть очень интересными. Насколько конкурентоспособной получится модель — это отдельный вопрос. Мне гораздо интереснее увидеть, как именно обучают и настраивают MoE-модель размером более 500 млрд параметров и сколько раз всё успеет сломаться по дороге. Такие возможности появляются крайне редко. По сути, перед всем миром открывают эксперимент по обучению модели стоимостью в десятки миллионов долларов — то, что обычно могут видеть только сотрудники крупнейших ИИ-лабораторий.

Конспект лекций Стэнфорда по статистике и теории информации. PDF → https://web.stanford.edu/class/stats311/lecture-notes.pdf

Офигеть, этот проект реально позволяет запускать огромные модели даже на RTX 4060???? Исследователи из UC Berkeley, MIT и UT Austin открыли исходный код FreeToken — системы, специально созданной для запуска сверхбольших MoE-моделей на обычных компьютерах. В статье они показывают очень впечатляющие результаты. Qwen3.6 35B RTX 4060 Laptop 8 ГБ 39,3 токена/с DeepSeek-V4-Flash 284B RTX 5090 22–25 токенов/с GLM-5.2 753B RTX PRO 6000 около 15 токенов/с То есть игровой ноутбук всего с 8 ГБ видеопамяти уже может запускать модель на 35 млрд параметров почти на 40 токенах в секунду. И это даже быстрее медианной скорости генерации Codex в 33 токена/с, которую авторы приводят в статье. Главная идея FreeToken в том, чтобы заставить GPU, CPU, оперативную память и PCIe работать вместе. Поскольку MoE-модели для каждого токена активируют только небольшую часть экспертов, нет необходимости постоянно держать сотни миллиардов параметров в видеопамяти. FreeToken сам решает, какие части модели оставить в VRAM, какие временно переносить из оперативной памяти на GPU, а какие вообще считать на CPU. На этапе обработки входного контекста система заранее загружает экспертов следующего слоя. Во время генерации она динамически распределяет вычисления в зависимости от текущей скорости CPU, GPU и PCIe. Есть даже отдельный Agent State Cache. Когда агент вызывает инструменты, меняет контекст или продолжает старую задачу, FreeToken может пропускать большую часть повторной обработки контекста. Именно поэтому в демонстрациях всё выглядит особенно интересно. Написание кода, чтение почты, вызов инструментов и даже игры. Можно поднять большую открытую модель прямо на игровом компьютере и подключить к ней агентные системы вроде Claude Code или Codex. https://arxiv.org/abs/2608.16157

Книга Дарижа Гринберга «Введение в теорию графов» теперь доступна бесплатно Это серьёзное введение в теорию графов для продвинутого уровня. В книге объединены алгебраический подход, структурные теоремы и большое количество упражнений для практики. Читать книгу вместе с ИИ-преподавателем: https://chapterpal.com/ebook/473a1c1b-c584-4430-b986-cd9c57085e67

«Matrix Calculus for Machine Learning» — бесплатный конспект лекций на основе курса MIT по матричному анализу для машинного обучения. Примерно 100 страниц, на которых довольно последовательно разбирается математическая база современных моделей — производные в векторных и матричных пространствах, производная как линейное отображение, якобианы, гессианы, матричные функции, производные собственных значений и собственных векторов и многое другое. Самое полезное здесь в том, что авторы не останавливаются на чистой математике. Все эти идеи напрямую связываются с обратным режимом дифференцирования, обратным распространением ошибки и другими механизмами, на которых строится обучение современных моделей. Материал строгий, но при этом читается вполне нормально. Если хочется не просто пользоваться формулами в машинном обучении, а действительно понимать, что происходит под капотом, это очень хороший ресурс. https://arxiv.org/pdf/2501.14787

KDD 2026 На прошлой неделе на острове Чеджу прошла KDD 2026 — одна из главных конференций по машинному обучению. AI VK Research представила там сразу два исследования в области рекомендательных систем. Одно посвящено оптимизации рекомендаций на уровне всей сессии через REINFORCE, второе — использованию MDP и матричной факторизации для candidate generation. Но интереснее посмотреть не только на сами работы, но и на то, какие темы сейчас обсуждают на одной из крупнейших ML-конференций и куда в целом движется research в RecSys. Команда AI VK Research подготовила небольшой репортаж с KDD: презентации работ, конференция и все, что происходило вокруг.

У больших языковых моделей есть серьёзное слепое пятно: у них нет врождённого понимания физического мира. Особенно хорошо это видно, когда мы спускаемся на квантовый уровень. Сложность квантовой динамики и стоимость управления ею растут экспоненциально. Операторы Фурье становятся важным инструментом для изучения квантовой динамики молекул и ускорения обратного проектирования протоколов управления. FNO предсказывает динамику в 10^7 раз быстрее, чем CUDA-Q от Nvidia с ускорением на GPU. Стохастический планировщик импульсов и измерений на основе FNO показывает почти вдвое более высокий процент успешных результатов, чем подход на основе обучения с подкреплением. https://arxiv.org/abs/2608.03702

Qwen3.8-27B теперь работает со скоростью 70 токенов/с прямо на ноутбуке. Вышел DFlash 2 — новое поколение спекулятивного декодирования на основе блочной диффузии. DFlash 2 разгоняет Qwen3.8-27B до 70 токенов/с на MacBook Pro с M5 Max. Ускорение авторегрессионного декодирования достигает 4,6 раза, а итоговый вывод остаётся полностью идентичным исходной модели — буквально ни одного отличающегося токена. ⚡️ Уже доступны новые черновые модели для Qwen3.8-27B с нативной поддержкой SGLang, vLLM, llama.cpp и oMLX. Суть подхода: https://inco.ai/blog/dflash2/

«Суть линейной алгебры» от 3Blue1Brown https://youtube.com/playlist?list=PLZHQObOWTQDPD3MizzM2xVFitgF8hE_ab

Это чертовски масштабно: впервые персонализированное лечение рака на основе мРНК, созданное с помощью ИИ, успешно прошло испытание 3-й фазы. Moderna и Merck секвенируют опухоль каждого пациента и сравнивают её со здоровой ДНК. Затем ИИ помогает определить, какие мутации опухоли с наибольшей вероятностью способны вызвать иммунный ответ. На основе этих мишеней Moderna создаёт индивидуальное мРНК-лечение, кодирующее до 34 неоантигенов. В более раннем испытании 2-й фазы за пациентами с хирургически удалённой меланомой высокого риска наблюдали в течение пяти лет: — 68,8% оставались без рака по сравнению с 49,1% среди тех, кто получал только Keytruda — риск рецидива или смерти был ниже на 49% — риск отдалённых метастазов или смерти был ниже на 59% Теперь успешно завершилось и гораздо более крупное испытание 3-й фазы с участием 1 137 пациентов. Просто невероятно. Дарио был прав: рак будет излечен всего через несколько лет!