Data Portal | DS & ML

«Элементарные дифференциальные уравнения» Уильяма Ф. Тренча — бесплатный университетский учебник, посвящённый фундаментальной теории дифференциальных уравнений. На более чем 700 страницах представлен всесторонний разбор темы, сочетающий математическую теорию, подробно разобранные примеры и упражнения. Книга охватывает дифференциальные уравнения первого и второго порядка, численные методы, применение дифференциальных уравнений в механике и электрических цепях, уравнения высших порядков, решения с помощью степенных рядов, преобразования Лапласа, системы дифференциальных уравнений, ряды Фурье, краевые задачи и введение в уравнения с частными производными, включая уравнения теплопроводности и волновые уравнения. Как и другие учебники, которыми я недавно делился, настоятельно рекомендую добавить эту книгу в свою личную математическую библиотеку. Она будет полезна как тем, кто впервые изучает дифференциальные уравнения, так и тем, кому нужен подробный справочник для повторения основных понятий. https://digitalcommons.trinity.edu/mono/9/

Нашёл ещё один отличный курс по ИИ-агентам, лекции которого Университет Карнеги — Меллона (CMU) бесплатно публикует на YouTube. Курс ведут Грэм Нойбиг, один из создателей OpenHands, и Дэниел Фрид. Больше всего мне нравится то, насколько тесно содержание курса связано с инструментами, которыми мы пользуемся сегодня. Он охватывает темы, с которыми мы ежедневно сталкиваемся при работе с Claude Code и Codex: инструменты, скиллы, сжатие контекста и агенты для программирования. Практические задания тоже интересные. В первом задании агент для программирования исправляет ошибки в шахматном приложении, после чего второй агент играет в шахматы в только что исправленном приложении. Последующие задания посвящены оценке качества работы агентов (evals) и их обучению с помощью обучения с подкреплением (RL). Все три задания находятся в открытом доступе на GitHub. https://www.youtube.com/playlist?list=PLSN0qpDfUvTM

Это один из важнейших результатов за всю историю исследований искусственного интеллекта. Без преувеличения. Если коротко: нейронные сети не представляют собой запутанные клубки взаимосвязей (представление о полисемантичности нейронов ошибочно). Их нейроны можно изучать напрямую, не прибегая к предварительному «распутыванию» с помощью другой модели. 90% нейронов в Qwen-32B выполняют одну определённую функцию. Ник Каммарата основал команду по исследованию интерпретируемости ИИ в OpenAI, а сейчас работает в Goodfire. Уже десять лет он изучает внутренние механизмы работы больших языковых моделей. Понимание поведения моделей и его согласование с человеческими целями сейчас важнее, чем когда-либо прежде. Модели уже достигли результатов, превосходящих человеческие возможности в математике, способны взламывать программные системы, работающие в продакшене, и меняют характер интеллектуального труда. Возможно, именно это исследование наконец позволит нам целенаправленно проектировать большие языковые модели и определять, как они будут себя вести. Это объёмная, по-настоящему выдающаяся статья, которую стоит прочитать. https://already-clean.goodfire.com/

«Book of Proof» Ричарда Хэммака — полностью бесплатный учебник, впервые опубликованный в 2009 году. Он стал своего рода современной классикой для тех, кто хочет научиться читать, понимать и строить математические доказательства. Книга объёмом почти 400 страниц охватывает теорию множеств, логику, комбинаторику, прямые доказательства, доказательства методом контрапозиции и от противного, математическую индукцию, отношения, функции, доказательства в математическом анализе и мощности множеств. Также в ней много упражнений и решений. Учебник особенно хорошо подходит студентам первых курсов университетов, которые хотят освоить формальные математические рассуждения и строгие доказательства. Это одна из тех книг, которые я настоятельно рекомендую иметь в личной библиотеке по математике, особенно учитывая, что она находится в свободном доступе. https://richardhammack.github.io/BookOfProof/Main.pdf

Теперь можно просто загрузить изображение и посмотреть, как нейросеть определяет, что на нём изображено. CNN Explainer позволяет проследить весь процесс обработки: Пиксели → свёртка → ReLU → пулинг → карты признаков → softmax → предсказание. Можно переходить между слоями нейросети и изучать фильтры, активации и вычисления, на основе которых формируется результат. Отличный способ наглядно разобраться в работе свёрточных нейросетей (CNN). https://poloclub.github.io/cnn-explainer/

🔴Собес на Дата Инженера с нанимающим из Сбера в субботу в 15:00 17 октября (в эту субботу!) в 15:00 по мск приходи онлайн на открытое собеседование, чтобы посмотреть на настоящее интервью на Middle Дата Инженера. Как это будет: 📂 Максим Костин, ведущий инженер данных в Сбере, ex-VK проведет собес на дата инженера; 📂 Максим будет задавать реальные вопросы с секций, которые проводил сам и комментировать ответы; 📂 В конце можно будет задать любой вопрос Максиму. Это бесплатно. Эфир проходит в рамках менторской программы от ШОРТКАТ для разработчиков, которые хотят сменить работу, повысить свой грейд, ЗП и прокачать скиллы. Переходи в нашего бота, чтобы получить ссылку на эфир → @shortcut_de_bot Реклама. О рекламодателе.

У Nvidia есть открытая модель мира на 2,6 млрд параметров. Она позволяет превратить изображение, текстовый промпт и траекторию движения камеры в управляемый виртуальный мир. И всё это на одном GPU. - Код доступен на GitHub. - Научная статья опубликована на arXiv. - Подходит для исследований воплощённого ИИ, робототехники и симуляций. Модель работает на GPU вроде RTX 5090 или H100, позволяя экспериментировать с моделями мира без необходимости использовать несколько видеокарт. https://github.com/NVlabs/Sana

Руководство по подготовке к техническим собеседованиям от разработчика, который получил несколько предложений о работе от Meta, Google, Amazon и Apple. Традиционный подход к техническим собеседованиям официально устарел. Если в этом году вы готовитесь к собеседованиям на позиции Senior-разработчика, AI Engineer или Applied Scientist, одного заучивания задач с LeetCode уже недостаточно. Теперь вас будут спрашивать об агентных циклах, сжатии KV-кеша, деградации RAG-систем и распределённом инференсе больших языковых моделей. Для этого появилось обновлённое руководство на 2026 год: https://github.com/alirezadir/AIM Чем интересен этот репозиторий: - Актуальная программа на 2026 год. Углублённые модули по генеративному ИИ, ИИ-агентам, мультимодальным системам и физическому ИИ. - ИИ-репетитор через MCP без спойлеров. Можно подключить прямо к терминалу, Claude или Cursor и проходить интерактивные пробные технические собеседования в реальном времени. - Полный охват тем. От классического машинного обучения и программирования до проектирования сложных производственных систем.

Основатели ElevenLabs сейчас, должно быть, дрожат от страха… Эти ребята только что выпустили голосовую ИИ-модель, которой можно управлять как настоящим актёром. Больше не нужно вставлять странные специальные коды в текст. Просто пишете «произнеси это так, будто ты окончательно разочаровался в жизни», и модель делает именно это. Почему это настолько круто: - Одно слово прозвучало неправильно? Можно изменить только его, оставив всю остальную озвучку без изменений. - Модель умеет переключаться между голосами прямо посреди предложения. - Может озвучить целую сцену с несколькими персонажами по одному сценарию. - Клонирует ваш голос и сохраняет его характер и манеру речи на других языках. Модель поддерживает 83 языка, а её веса доступны для скачивания по лицензии Fish Audio Community License. А чтобы продемонстрировать возможности модели, разработчики клонировали голос Uncle Roger и заставили его на протяжении всего ролика разносить собственный жареный рис. Ахах, это просто прекрасно.

Сегодня прочитал отличный материал по Harness Engineering — проектированию инфраструктуры для ИИ-агентов. В нём подробно объясняется, как устроены и создаются ИИ-агенты. Рассматриваются такие темы, как: - Управление контекстом и памятью. - Инструменты и MCP. - Оркестрация агентов. - Безопасность и управление разрешениями. - Валидация, наблюдаемость и обработка ошибок. Отличный ресурс для понимания того, что стоит за работой таких агентов, как Claude Code и Codex. Документ: https://drive.google.com/file/d/1PT-P2PVoiZpfYoe5eWks1_DGt2aSvbDh/view

Motion2MixamoRig — инструмент с открытым исходным кодом, который использует машинное обучение для восстановления движений человека по обычному видео и переноса их на 3D-персонажа. Проект также умеет восстанавливать 3D-позы по фотографиям. Для оценки движений используется модель GVHMR. Результат можно экспортировать в формате GLB и использовать в Blender или Unity. Для Blender 4.2+ уже доступно отдельное расширение. https://github.com/MaxLiu22/Motion2MixamoRig

«Матричное дифференциальное исчисление для машинного обучения и не только» — бесплатный курс лекционных материалов MIT, посвящённый математике производных векторов и матриц. Материалы охватывают градиенты, якобианы, производные матричных функций, дифференциалы, производные произведений матриц, обратных матриц и определителей, произведения Кронекера, оптимизацию и автоматическое дифференцирование. Также рассматривается применение этих методов в машинном обучении. На мой взгляд, это полезный ресурс для тех, кто уже знаком с основами линейной алгебры и математического анализа и хочет разобраться, как дифференцирование обобщается на векторы и матрицы и применяется в современных задачах оптимизации. https://ocw.mit.edu/courses/18-s096-matrix-calculus-for-machine-learning-and-beyond-january-iap-2023/mit18_s096iap23_lec_full.pdf

NVIDIA выпустила мультимодальную аудиомодель на 2 млрд параметров, которая не просто распознаёт речь, но и понимает окружающие звуки. Одна модель объединяет транскрибацию, перевод речи, распознавание звуков, ответы на вопросы по аудио, синтез речи и полноценное преобразование речи в речь. Веса модели открыты. https://huggingface.co/spaces/nvidia/Nemotron-Labs-Audex

NVIDIA действительно устранила одно из главных ограничений голосового ИИ. Компания открыла исходный код PersonaPlex-7B — разговорной модели с полнодуплексным режимом, которая умеет одновременно слушать и говорить. Вместо того чтобы ждать, пока пользователь закончит говорить, модель использует двухпоточную архитектуру для обработки речи и ответа в реальном времени. Полностью открытый исходный код и бесплатное использование. https://github.com/NVIDIA/personaplex

Reasoning From Scratch: обучение с подкреплением с проверяемыми наградами (RLVR), часть 2. Разбираем ограничение отношений вероятностей политик, KL-слагаемое в функции потерь, награды за формат ответа и другие приёмы работы с GRPO. 00:00 Введение и повторение пройденного 01:52 Интерпретация основных метрик обучения GRPO 06:34 Планируемые улучшения GRPO 08:58 Запуск длительного обучения с помощью Python-скриптов 13:39 Запуск базового скрипта обучения GRPO 17:29 Загрузка журналов обучения и построение графиков 19:29 Диагностика нестабильного обучения 23:55 Оценка контрольных точек модели на MATH-500 26:26 Скачивание готовых контрольных точек модели 30:09 Отслеживание статистики преимущества 34:53 Что такое энтропия 40:32 Вычисление энтропии в PyTorch 44:17 Интерпретация значений энтропии 48:58 Добавление отслеживания энтропии в GRPO 53:36 Анализ метрик преимущества и энтропии 56:18 Стабилизация GRPO с помощью ограничения отношений вероятностей политик 1:03:27 Реализация функции потерь политики с ограничением 1:09:39 Анализ результатов обучения с ограничением отношений вероятностей политик 1:11:25 KL-дивергенция и обход системы наград 1:15:12 Добавление KL-слагаемого в функцию потерь 1:20:34 Ограничения упрощённой функции потерь с KL 1:23:04 Награды за формат ответа и теги think 1:25:47 Добавление специальных токенов в токенизатор 1:30:29 Реализация награды за формат ответа 1:35:56 Анализ обучения с наградой за формат ответа 1:38:25 Награда за формат только при правильном ответе 1:40:48 Дальнейшие улучшения GRPO из исследований 1:45:43 Следующие шаги и дистилляция https://youtu.be/VxfUrUrrczs?si=2suHmPhPic6JC_xU

Сейчас в сфере ИИ есть два карьерных пути: Первый — разработчик, который умеет создавать приложения с помощью API языковых моделей. Второй — архитектор, который понимает, как устроены сами языковые модели и системы на их основе. Если хотите двигаться в сторону второго, у Стэнфорда есть один из лучших бесплатных курсов по разработке LLM — CS336: Language Modeling from Scratch. Курс 2026 года состоит из 18 лекций и охватывает практически весь технологический стек языковых моделей: — Архитектура моделей: токенизация, трансформеры, различные архитектуры и MoE. — Аппаратное обеспечение: FLOPs, память, GPU и TPU. — Оптимизация производительности: Triton, GPU-ядра, параллелизм и распределённое обучение. — Обучение моделей: законы масштабирования, сбор, фильтрация и дедупликация данных. — Запуск моделей: инференс и оценка качества. — Дообучение: SFT, RLHF и RLVR. Отдельно рассматривается мультимодальность. Причём обучение не ограничивается просмотром лекций. Студенты самостоятельно реализуют токенизатор, трансформер и оптимизатор, пишут FlashAttention2 на Triton, создают систему распределённого обучения с эффективным использованием памяти и превращают сырые данные Common Crawl в датасет для предобучения. Также они экспериментально определяют закон масштабирования и используют SFT вместе с обучением с подкреплением, чтобы научить языковую модель решать математические задачи. По словам Стэнфорда, на этом курсе студенты пишут как минимум на порядок больше кода, чем на большинстве других курсов по ИИ. Stanford CS336, весна 2026 года. 18 лекций, бесплатно на YouTube. https://www.youtube.com/playlist?list=PLoROMvodv4rMqXOcazWaTUHhq-yembLCV Выбирайте свой путь.

«Scaling Laws, Carefully» — отличная статья Лилиан Венг, посвящённая математическим основам законов масштабирования в глубоком обучении. В ней объясняется, как качество моделей зависит от количества параметров, объёма обучающих данных и вычислительных ресурсов. Статья охватывает степенные зависимости, законы масштабирования Каплана и Chinchilla, оптимальное использование вычислительных ресурсов при обучении, ограничения обучающих данных и сложности прогнозирования качества более крупных моделей. В материале представлены формулы, результаты экспериментов и ссылки на оригинальные научные работы. Это очень полезный ресурс для понимания математики, лежащей в основе масштабирования больших языковых моделей. https://lilianweng.github.io/posts/2026-06-24-scaling-laws/

«Graph Theory with Applications» — бесплатный учебник, который даёт всестороннее введение в теорию графов и её практическое применение. Книга начинается с базовых понятий: графов, подграфов, путей, циклов, деревьев и связности. Затем переходит к более сложным темам: эйлеровым и гамильтоновым графам, паросочетаниям, раскраске графов, планарным и ориентированным графам, сетевым потокам и экстремальной теории графов. Особенно полезно то, что авторы сочетают наглядное, геометрическое и топологическое понимание графов со строгим изложением математических основ. Это делает книгу ценным ресурсом для изучения теории, лежащей в основе многих современных приложений графов в информатике, компьютерных сетях, оптимизации, анализе данных и смежных областях. Книга: https://book.huihoo.com/pdf/graph-theory-with-applications.pdf

Крошечная ИИ-модель на 0,5 млрд параметров превратила обычное видео с телефона в 3D-модель комнаты с разметкой. Это SpatialLM: она распознаёт стены, двери, мебель и понимает, как всё расположено в пространстве. Её обучали как обычную мультимодальную языковую модель. Большинство моделей компьютерного зрения видят пиксели. SpatialLM видит пространство. Открытые модели: https://t.co/kGXjHkIdiE

Это одна из самых полезных и реалистичных схем структуры репозитория для ИИ-приложений в продакшене. Она охватывает всю инженерную часть вокруг LLM: от обработки запросов и интеграции моделей до безопасности, наблюдаемости, оценки качества и деплоя. У каждой части своя чёткая зона ответственности: api/ — обработка запросов, типизированные схемы, аутентификация и ограничения частоты запросов. application/ — рабочие процессы, бизнес-правила, бюджеты и проверка выходных данных. providers/ — интеграции моделей, предельное время выполнения, ограниченное число повторных попыток и отмена запросов. security/ — идентификация, изоляция клиентов, контроль доступа и разрешения на использование инструментов. prompts/ — шаблоны, требования к входным данным, конфигурация моделей и ссылки на версии. observability/ — трассировка запросов, задержки, ошибки, использование моделей и стоимость. evals/ — версионируемые наборы данных, проверки качества, приёмочные тесты на отложенных данных и выборочная оценка результатов из продакшена. tests/ — модульные и интеграционные тесты, проверки безопасности и сценариев сбоев. deploy/ — сборки, инфраструктура, проверки работоспособности и безопасное развёртывание обновлений. RAG, агенты, кеширование, выполнение инструментов, хранение данных и фоновые обработчики выделены в отдельные возможности, которые подключаются в зависимости от задач приложения. Некоторым приложениям они нужны с первого дня. Продукт, активно использующий поиск по данным, может зависеть от RAG, а приложение с агентами — от выполнения инструментов и оркестрации. Эта структура подходит для обоих случаев, не навязывая всем приложениям одну архитектуру. Запрос к модели может не уложиться в отведённое время. Пользователь может запросить данные, к которым у него нет доступа. Изменения модели или промпта могут ухудшить качество ответов, не сломав ни одного модульного теста. Приложение должно обрабатывать такие ситуации, соблюдать права доступа и давать инженерам достаточно трассировок, тестов и проверок качества, чтобы выявлять проблемы до и после деплоя. Сама по себе структура репозитория ничего из этого не обеспечит. Она лишь отводит каждой из этих задач понятное место в кодовой базе. Начинайте с малого. Добавляйте возможности, когда они нужны продукту.