Data Portal | DS & ML

Вы когда-нибудь задумывались, как модели машинного обучения предсказывают будущее? За всем стоят теория вероятностей и статистика, а Python — тот самый инструмент, который приводит всё это в движение. https://pyoflife.com/python-for-probability-statistics-and-machine-learning-pdf/ #Python #MachineLearning #DataScience #Statistics #DataScientist

«A Mathematical Explanation of Transformers» — свежая статья, в которой авторы строят строгую математическую модель архитектуры трансформеров и больших языковых моделей. Трансформер рассматривается как дискретизация непрерывного интегро-дифференциального уравнения. Self-attention описывается как нелокальный интегральный оператор, нормализация слоя — как проекция на множество с ограничениями, а полносвязные слои и функции активации включаются в ту же математическую схему. Затем через расщепление операторов и численную дискретизацию авторы получают стандартную архитектуру Transformer и расширяют этот подход на многоголовое внимание, Vision Transformer и сверточные трансформеры. Я уже делился несколькими материалами по математике нейросетей, трансформеров и больших языковых моделей, но в этой области постоянно появляется что-то новое и интересное. https://arxiv.org/pdf/2510.03989

«Введение в высшую инженерную математику и математический анализ» — это открытый учебник, который охватывает функции, комплексные числа, линейную алгебру, математический анализ, производные и интегралы, последовательности и ряды, ряды Тейлора, обыкновенные дифференциальные уравнения и уравнения в частных производных, ряды Фурье, разделение переменных, преобразования Фурье и Лапласа и многое другое. Также есть заключительная глава о нейронных сетях прямого распространения, в которой рассматриваются линейные и нелинейные сети, функции ReLU, регрессия и теория приближений. Почти 500 страниц — это довольно серьёзный материал, и он доступен бесплатно здесь: https://open.oregonstate.education/app/uploads/sites/246/2023/06/Introduction_to_Advanced_Engineering_Mathematics_and_AnalysisA.pdf

Тем временем в Китае. «Последний ИИ, созданный людьми: на пути к настоящему рекурсивному самоулучшению». Новая 75-страничная работа исследователей из Шанхайского университета Цзяотун, Университета Цинхуа, ByteDance, Shanghai AI Lab и других организаций описывает дорожную карту к настоящему рекурсивному самоулучшению. Речь об ИИ-системах, которые не просто лучше выполняют задачи, а непрерывно улучшают сами механизмы, за счёт которых они становятся лучше. Авторы описывают пять стадий роста автономности: ИИ выполняет улучшения, разработанные человеком сам выбирает стратегии собственного улучшения сам решает, какой опыт и какие данные ему нужны непрерывно адаптируется на основе обратной связи из реального мира наконец достигает уровня L5, метаулучшения, где он изменяет и наследует сам процесс, используемый для создания более совершенных систем-преемников https://arxiv.org/pdf/2609.11873

Соберите человекоподобного робота самостоятельно OpenArm — человекоподобный робот с открытым исходным кодом. В проект входят полные CAD-модели, код управления, прошивка и инструменты симуляции — всё необходимое, чтобы собрать, модифицировать и использовать робота. Манипуляторы спроектированы так, чтобы быть податливыми и допускающими обратное вращение приводов. Поддерживается телеуправление с силовой обратной связью и компенсацией гравитации в реальном времени, поэтому оператор может естественно направлять руку. Что особенно важно, для симуляции OpenArm работает с MuJoCo и Isaac Sim. Это позволяет разработчикам тестировать политики в виртуальной среде до запуска на реальном железе. Робота можно собрать самостоятельно из набора или купить уже собранным. Цель проекта — сделать такие системы доступнее для исследовательских лабораторий, небольших команд и энтузиастов. Проект развивается в Токио. Его цель — снизить порог входа в эксперименты с ловкими роботизированными манипуляциями. https://github.com/enactic/OpenArm

Глубокий разбор системной архитектуры ускорителя инференса OpenAI Jalapeno, который выходит далеко за рамки одних только FLOPS и показывает окружающую сетевую архитектуру, а также то, где именно ИИ реально дал прирост. https://www.siliconcodesign.com/p/an-advanced-system-architecture-breakdown

Если вы работаете в Data Science, изучаете машинное обучение или готовитесь к собеседованию, сохраните эти 10 бесплатных ресурсов 👇 1. Линейная регрессия Основа машинного обучения. Разберитесь, как модели подстраиваются под данные и как работают функция потерь и градиентный спуск. 🔗 https://buff.ly/dQLFY1o 2. Логистическая регрессия Математика, лежащая в основе бинарных предсказаний. Сигмоида, логарифмическая функция потерь и то, почему регуляризация имеет значение. 🔗 https://buff.ly/CBZgNXN 3. Классификация Accuracy, precision, recall, ROC/AUC. Метрики, которые вам придётся объяснять практически на любом собеседовании. 🔗 https://buff.ly/IiONwok 4. Числовые данные Нормализация, дискретизация и те небольшие решения при проектировании признаков, которые могут изменить работу вашей модели. 🔗 https://buff.ly/w4LhjDk 5. Категориальные данные One-hot encoding, пересечения признаков и ошибки, из-за которых категориальные переменные могут работать неправильно. 🔗 https://buff.ly/DbvMs4h 6. Переобучение Почему модель может отлично работать на обучающих данных и разваливаться в продакшене. И как вовремя это обнаружить. 🔗 https://buff.ly/c6MZrQt 7. Нейронные сети Узлы, скрытые слои, функции активации и обратное распространение ошибки. Интуитивное понимание всего этого, а не только формулы. 🔗 https://buff.ly/N9sB1zP 8. Системы машинного обучения в продакшене Статическое и динамическое обучение, тестирование при развёртывании и мониторинг. Всё, что происходит после model.fit(). 🔗 https://buff.ly/OTX435G 9. AutoML Когда он полезен, когда может скрыть плохие решения и какие компромиссы нужно понимать перед его использованием. 🔗 https://buff.ly/n7CxzTU

Мы стоим на пороге сверхинтеллекта. Представили Recurrent Looped Transformer (RLT). Теперь у нас есть трансформеры с бесконечной глубиной рассуждений. С этого момента нам следует контролировать темп прогресса на передовом рубеже сверхинтеллекта, пока не будет достигнут безопасный сверхинтеллект. https://github.com/yifanzhang-pro/recurrent-looped-tranformer

Современный ИИ основан на математическом анализе. Без производных не было бы градиентного спуска, обратного распространения ошибки, нейросетей и обучения с учителем. Без интегралов не было бы градиента политики, дообучения больших языковых моделей и обучения с подкреплением. Теперь математический анализ можно самостоятельно изучить на ChapterPal по отличному учебнику «Active Calculus, 2-е издание» Мэтью Болкинса 2025 года. В книге сотни иллюстраций и интерактивных упражнений. ChapterPal дополняет их проверочными тестами для контроля понимания и помощью преподавателя по запросу. Читать: https://chapterpal.com/book/9f5af026-5981-494c-aab0-ea0017d68955/active-calculus-2nd-edition

Hugging Face завершила серию Training Agents — шесть практических воркшопов про оценку и обучение ИИ-агентов. За полгода команда разобрала весь путь: от бенчмарков и SFT на трассах агентов до дистилляции, GRPO и обучения внутри реальных сред. В финальной части они собрали среду на OpenEnv, подключили её к TRL и обучили реального агента для программирования OpenCode через Harbor в песочницах Hugging Face. Все шесть записей уже доступны бесплатно, весь код открыт. Серия набрала более 300 тысяч просмотров. Плейлист: https://youtube.com/playlist?list=PLo2EIpI_JMQvQZm-kVlz4wY1vWF0LBcf5

Чувак попросил Astra прочитать статью про DeepSeek V4.1 Flash и сравнить её с оригинальной архитектурой Transformer в 3D. Можно приближать модель и рассматривать каждый элемент бок о бок. Изменилось довольно многое. Попробуйте сами: https://transformer-architecture.petergostev.chatgpt.site https://github.com/petergpt/transformer-architecture

«Введение в теорию информации» — это набор лекционных материалов Стэнфорда, посвящённых математическим основам теории информации. В них разбираются сжатие без потерь и с потерями, энтропия, относительная энтропия, взаимная информация, асимптотическое свойство равномерного распределения, кодирование Хаффмана, пропускная способность канала, гауссовские каналы, метод типов, теория скорость–искажение, совместное кодирование источника и канала и многое другое. Полезный материал для всех, кому интересна математика, лежащая в основе информации, сжатия данных и связи. Очень интересно. https://web.stanford.edu/class/ee376a/files/lecture_notes.pdf

📱 Рекомендательные системы видео, клипов и постов работали раньше независимо: сигналы от пользователя в одном сервисе не влияли на рекомендации в других.  В AI VK разработали новую технологию — нейропрофиль. Она объединила историю действий пользователя ВКонтакте, в VK Видео и VK Клипах в единую последовательность событий и повышает точность рекомендаций во всех трёх сервисах. ➡️Коротко о работе нейропрофиля — в ролике. #aivkhub #video #discovery #нейропрофиль

В топовых университетах начали всерьёз преподавать разработку AI-агентов. Этой осенью Carnegie Mellon University запустил новый курс 11-768 "AI Agents", и программа близка к тому, чем прямо сейчас занимаются разработчики агентных систем. Работа с инструментами, управление контекстом, навыки, память, планирование. Дальше идут агенты для программирования, работа с графическими интерфейсами, глубокий поиск, SFT и RL, изоляция среды и безопасность. Задания здесь интересные. Сначала студентам нужно собрать собственную агентную оболочку. Затем разработать систему оценки агента. После этого обучить агента с помощью RL. В конце — полноценный исследовательский проект. По-моему, сама последовательность хорошо показывает, как в 2026 году начали смотреть на разработку агентов. Просто научиться вызывать модель и давать ей инструменты уже недостаточно. Теперь нужно уметь построить вокруг модели рабочую систему, нормально её измерить, обучить и добиться того, чтобы она надёжно выполняла длинные задачи. Материалы курса публикуются открыто, а лекции начали выкладывать на YouTube. 🕗 p.s: также 23 сентября в Stanford стартует новый курс CS329Z "Engineering AI Agents", материалы лекций также будут открыто публиковать на сайте по мере выхода.

Профессор кафедры машиностроения Вашингтонского университета Стив Брантон выложил на YouTube полный курс по теории управления для магистрантов и аспирантов. Бесплатно. Курс называется Control Bootcamp. Линейные системы, устойчивость и собственные значения, управляемость и наблюдаемость, размещение полюсов, фильтр Калмана, LQR / LQG, робастное управление, MPC — всё разбирается последовательно и с примерами в Matlab. Брантон — Boeing Professor of AI & Data-Driven Engineering в Вашингтонском университете. Он получил степень бакалавра по математике в Caltech с дополнительной специализацией по управлению и динамическим системам, а затем докторскую степень по механической и аэрокосмической инженерии в Princeton. Плейлист: https://youtube.com/playlist?list=PLMrJAkhIeNNR20Mz-VpzgfQs5zrYi085m

Даже тех, кто сам обучает модели, уже начинает сносить от их возможностей. Только что увидел у друга скриншот поста одного серьёзного специалиста. Впечатляет. Он попросил GPT-6 воспроизвести работу по трассировке электрических схем, которую сам делал на первом курсе. И это был не какой-то обычный учебный проект. В своё время работу опубликовали в журнале категории CCF A, а ещё он подавал на неё патент. В итоге GPT-6 воспроизвёл всё за одну минуту. После этого он на ходу придумал одно направление для улучшения и попросил модель продолжить работу. Меньше чем за полдня новый вариант тоже был готов. Но сильнее всего меня поразило даже не то, что модель за минуту воспроизвела научную работу. А то, что автор этого поста сам участвовал в обучении GPT-6. То есть даже человек, который находится максимально близко к модели, отлично понимает границы её возможностей и буквально участвовал в её создании, всё равно оказался поражён, когда начал использовать её в собственной исследовательской работе. Дальше он написал фразу, которая мне особенно запомнилась. Раньше research был похож на один очень длинный RL rollout. Одно направление можно было разрабатывать несколько месяцев или даже лет и только в конце понять, было ли оно правильным. А теперь идею можно придумать утром, а уже днём получить результат её проверки. Поэтому он написал, что раньше люди мечтали о том самом: «Утром познать истину — вечером можно и умереть». Но если в будущем действительно можно будет каждое утро узнавать что-то новое, а каждый день перед тобой будут появляться новые ответы и новые методы, это ощущение вообще сложно описать. Возможно, многие до сих пор думают, что GPT-6 — просто ещё одна более сильная модель. Но за последние пару дней я всё отчётливее замечаю, что люди, которые реально занимаются ИИ, исследованиями и инженерией, реагируют на GPT-6 примерно одинаково. Не то чтобы никто не ожидал, что этот день наступит. Просто никто не думал, что даже когда он действительно наступит, это всё равно будет настолько впечатляюще. И тем более никто не ожидал, что всё произойдёт так быстро.

GPT-6 Astra дали роботизированную руку, кисть и камеру, а затем попросили нарисовать мост Золотые Ворота в реальном мире. Модель сама разобралась, как управлять роботом, и с каждой новой попыткой рисовала всё лучше. Самое впечатляющее здесь даже не картина. Astra училась на собственных попытках и улучшала результат уже в физическом мире.