Data Portal | DS & ML

«Graph Theory with Applications» — бесплатный учебник, который даёт всестороннее введение в теорию графов и её практическое применение. Книга начинается с базовых понятий: графов, подграфов, путей, циклов, деревьев и связности. Затем переходит к более сложным темам: эйлеровым и гамильтоновым графам, паросочетаниям, раскраске графов, планарным и ориентированным графам, сетевым потокам и экстремальной теории графов. Особенно полезно то, что авторы сочетают наглядное, геометрическое и топологическое понимание графов со строгим изложением математических основ. Это делает книгу ценным ресурсом для изучения теории, лежащей в основе многих современных приложений графов в информатике, компьютерных сетях, оптимизации, анализе данных и смежных областях. Книга: https://book.huihoo.com/pdf/graph-theory-with-applications.pdf

Крошечная ИИ-модель на 0,5 млрд параметров превратила обычное видео с телефона в 3D-модель комнаты с разметкой. Это SpatialLM: она распознаёт стены, двери, мебель и понимает, как всё расположено в пространстве. Её обучали как обычную мультимодальную языковую модель. Большинство моделей компьютерного зрения видят пиксели. SpatialLM видит пространство. Открытые модели: https://t.co/kGXjHkIdiE

Это одна из самых полезных и реалистичных схем структуры репозитория для ИИ-приложений в продакшене. Она охватывает всю инженерную часть вокруг LLM: от обработки запросов и интеграции моделей до безопасности, наблюдаемости, оценки качества и деплоя. У каждой части своя чёткая зона ответственности: api/ — обработка запросов, типизированные схемы, аутентификация и ограничения частоты запросов. application/ — рабочие процессы, бизнес-правила, бюджеты и проверка выходных данных. providers/ — интеграции моделей, предельное время выполнения, ограниченное число повторных попыток и отмена запросов. security/ — идентификация, изоляция клиентов, контроль доступа и разрешения на использование инструментов. prompts/ — шаблоны, требования к входным данным, конфигурация моделей и ссылки на версии. observability/ — трассировка запросов, задержки, ошибки, использование моделей и стоимость. evals/ — версионируемые наборы данных, проверки качества, приёмочные тесты на отложенных данных и выборочная оценка результатов из продакшена. tests/ — модульные и интеграционные тесты, проверки безопасности и сценариев сбоев. deploy/ — сборки, инфраструктура, проверки работоспособности и безопасное развёртывание обновлений. RAG, агенты, кеширование, выполнение инструментов, хранение данных и фоновые обработчики выделены в отдельные возможности, которые подключаются в зависимости от задач приложения. Некоторым приложениям они нужны с первого дня. Продукт, активно использующий поиск по данным, может зависеть от RAG, а приложение с агентами — от выполнения инструментов и оркестрации. Эта структура подходит для обоих случаев, не навязывая всем приложениям одну архитектуру. Запрос к модели может не уложиться в отведённое время. Пользователь может запросить данные, к которым у него нет доступа. Изменения модели или промпта могут ухудшить качество ответов, не сломав ни одного модульного теста. Приложение должно обрабатывать такие ситуации, соблюдать права доступа и давать инженерам достаточно трассировок, тестов и проверок качества, чтобы выявлять проблемы до и после деплоя. Сама по себе структура репозитория ничего из этого не обеспечит. Она лишь отводит каждой из этих задач понятное место в кодовой базе. Начинайте с малого. Добавляйте возможности, когда они нужны продукту.

Microsoft выпустила CABRA — инструмент для оценки возможностей ИИ-агентов в программировании. CABRA генерирует синтетические задачи на основе графов вызовов функций и постепенно увеличивает их сложность, чтобы выяснить, на каких задачах агенты начинают испытывать трудности. Обычные языковые модели резко теряют эффективность по мере усложнения задач. Агенты же почти не замечают разницы: они просто пишут скрипт с использованием grep или AST и продолжают работу. https://github.com/microsoft/CABRA

Samsung открыла исходный код LittleBit — метода, который позволяет сжать языковую модель с 13 млрд параметров до размера менее 1 ГБ. Вместо хранения весов в виде обычных чисел LittleBit использует скрытую факторизацию, снижая объём данных до менее одного бита на вес. В некоторых конфигурациях — до 0,1 бита. Но самое интересное — как устроены вычисления. При таком сжатии LittleBit заменяет ключевые операции умножения чисел с плавающей точкой побитовой операцией XOR. Сложные матричные вычисления сводятся к простому изменению знаков. По заявленным результатам, это ускоряет выполнение модели до 11,6 раза по сравнению с FP16, резко сокращает потребление памяти и объём данных при загрузке. При этом метод сохраняет устойчивость даже при менее чем 0,5 бита на вес — там, где предыдущие методы сжатия полностью проваливаются. https://arxiv.org/abs/2506.13771

Видеолекции от Sreedath Panat: - Computer Vision from Scratch — https://t.co/0PDEOfbufP - Transformers for Vision and Multimodal LLMs — https://t.co/ykVpXV2abn - Foundations for Machine Learning — https://t.co/b6GB1NQd0K - Explainable AI — https://t.co/FsbTRUiBVY

Один из главных моментов, когда я по-настоящему понял, как работают трансформеры: «Перестаньте думать о трансформере как о конвейере, где каждый слой преобразует выход предыдущего». «Начните думать о нём как об остаточном потоке». У каждого блока трансформера есть остаточная связь, которая прибавляет вход блока к его выходу: x′ = f(x) + x Из-за этого сложения блок внимания или MLP внутри слоя — функция f в формуле выше — на самом деле НЕ преобразует вход. Вместо этого он вычисляет информацию, которую нужно ДОБАВИТЬ ко входу, прежде чем передать его следующему блоку! Представьте основную часть трансформера как общую доску. Каждый блок читает с неё то, что ему нужно, и дописывает свои заметки. Все изменения — это добавления. Более того, слои могут обмениваться информацией на расстоянии. Блок в первом слое может записать информацию, а блок в пятом — прочитать её, хотя прямого соединения между ними нет. За эти идеи спасибо старой статье Anthropic об устройстве трансформеров: transformer-circuits.pub/2021/framework

Бен Аффлек: «Я всегда увлекался компьютерами. Даже могу писать всякие кривые скрипты на Python». Интервьюер: Ахах. Бен: «Ну, сначала, само собой, преобразуем изображение в тензор, где хранятся значения RGB для каждого пикселя, а также измерения батча и кадров». Интервьюер: wtf? Бен: «Потом прогоняем всё это через свёрточную нейросеть, чтобы выделить границы и извлечь признаки». Интервьюер: Сидит с отвисшей челюстью. Бен: «Да ничего сложного».

Будь как он, будь как Бэтмен. 😏

ПИД-регулирование — одна из тех идей, которые кажутся просто уравнением, пока не увидишь, как движется настоящий робот. Представь, что ты задаёшь роботизированной руке траекторию. Регулятор постоянно задаёт один вопрос: где должен находиться сустав и где он находится сейчас? Разница — это ошибка. Пропорциональная составляющая реагирует на текущую ошибку. Большая ошибка — сильная коррекция, маленькая — мягкая. Если слишком увеличить её коэффициент, робот начнёт двигаться резко, проскакивать целевое положение и колебаться. Интегральная составляющая помнит прошлое. Если из-за силы тяжести, трения или постоянного внешнего воздействия сустав всё время немного не достигает заданного положения, пропорциональная составляющая может оставлять устойчивую ошибку. Интегральная составляющая накапливает эту ошибку со временем и усиливает коррекцию, пока отклонение не исчезнет. Дифференциальная составляющая смотрит в другую сторону: ей важно, насколько быстро меняется ошибка. Если робот приближается к цели слишком быстро, она противодействует этому движению. Представь пропорциональную составляющую как пружину, интегральную — как память, а дифференциальную — как демпфер. Интересно, что ПИД-регулятор — это, по сути, крошечный интеллектуальный цикл с обратной связью. Наблюдать за системой, сравнивать реальность с заданной целью, вычислять ошибку, воздействовать на систему и снова наблюдать. Если повторять это сотни или тысячи раз в секунду, двигатель, который ничего не знает о траекториях, становится точно управляемым суставом. Объедини такие контуры управления по всему роботу — и электрическая энергия начнёт превращаться в согласованные движения. Прежде чем изучать экзотические алгоритмы управления, глубоко разберись в ПИД-регулировании. Оно раскрывает главную идею управления: постоянно использовать обратную связь от реального мира, чтобы корректировать свою модель того, что должно происходить.

Тестируйте торговые стратегии на основе машинного обучения на исторических рыночных данных, прежде чем рисковать реальными деньгами. - Проверяйте стратегии на множестве финансовых инструментов одновременно. - Обучайте модели, имитирующие реальную торговлю. - Получайте рыночные данные из Yahoo и Alpaca. https://github.com/edtechre/pybroker

1. Математические основы машинного обучения https://t.co/6jaPNJW9wH 2. Математические основы генеративных моделей https://t.co/LTmMWZcZNS 3. Математические основы генеративного ИИ https://t.co/EURxtNfMmx

Google выпустила EmbeddingGemma 2. Это первая открытая мультимодальная модель для эмбеддингов, изначально работающая с текстом, кодом, изображениями, видео и аудио. 740 млн параметров. Модульная архитектура. Модель создана для запуска прямо на устройстве, а не в дата-центре. При этом она обходит некоторые специализированные модели, которые более чем вдвое крупнее. В паре с Gemma 4 можно собрать полностью локальный RAG с упором на приватность. https://huggingface.co/google/embeddinggemma-2 https://huggingface.co/unsloth/embeddinggemma-2-GGUF

Видеолекции от Раджа Дандекаря: — Создаём LLM с нуля — Создаём DeepSeek с нуля — Принципы диффузионных моделей — Создаём диффузионную языковую модель с нуля

«Разбираемся в трансформерах и механизмах внимания» — краткое математическое введение в механизм внимания, одну из ключевых идей современных языковых моделей. Документ разбирает токенизацию и эмбеддинги, запросы, ключи и значения, оценки и веса внимания, многоголовое внимание, самовнимание, причинное внимание и маскирование, перекрёстное внимание и базовую структуру архитектуры Transformer. Также в нём представлены важные методы, которые делают механизм внимания в современных LLM эффективнее: KV-кеширование, внимание с группировкой запросов (GQA), многозапросное внимание (MQA) и латентное внимание. https://arxiv.org/pdf/2604.00965

Начни изучать программирование GPU с одной полностью анимированной лекции на YouTube. Это первое видео в серии о программировании GPU с Triton. Каждая идея объясняется наглядно, с помощью анимации — как в GIF из этого поста, только на протяжении целого часа. Ты каждый день пишешь c = a + b в PyTorch. Эта лекция показывает, что GPU на самом деле делает с этим выражением. В лекции разбираются: — Как GPU встроен в компьютер: PCIe, NVLink, серверы и кластеры. — Что внутри NVIDIA H100: потоковые мультипроцессоры, вычислительные линии FP32, планировщик варпов, тензорные ядра и разделяемая память. — Потоки, варпы, блоки и сетки — и как каждый поток находит свой элемент. — Память: SRAM и DRAM, DDR, GDDR и HBM, кеши, задержка и пропускная способность. — Как ускорить работу с памятью: скрытие задержек, объединение обращений к памяти и слияние ядер. — Зачем нужен Triton и как он позволяет мыслить тайлами вместо потоков. — Ограничения по пропускной способности памяти и вычислительной мощности, арифметическая интенсивность и модель Roofline. — Механизм внимания, матрица N × N и то, как FlashAttention решает связанную с ней проблему. Знание CUDA и устройства железа не требуется. Что дальше: — Лекция 2: построчно напишем наше первое ядро на Triton для сложения векторов. Опубликую через несколько дней. — Новые лекции о программировании GPU и оптимизации инференса. — Запланированная серия о глубоком обучении для аудио. Полная лекция: https://youtu.be/dEZP1qUNTOk

«Основы компьютерного зрения» — бесплатная онлайн-книга издательства MIT Press, которая даёт широкое введение в компьютерное зрение с точки зрения обработки изображений и машинного обучения. В ней разбираются формирование изображений, обучение и обратное распространение ошибки, фильтрация изображений и анализ Фурье, CNN, RNN и трансформеры, генеративные модели, обучение представлений, трёхмерная геометрия, оценка движения, распознавание объектов, модели, работающие с изображениями и текстом, и многое другое. Особенно мне нравится, что вся книга доступна прямо в HTML: с понятной и удобной вёрсткой, множеством схем и визуализаций, которые помогают разобраться в концепциях. https://visionbook.mit.edu

Европа вступает в гонку языковых моделей: Германия впервые выпустила модель с результатом почти 97% в математике. Kolibri от Aleph Alpha: 78 млрд параметров. 3,46 млрд активных. Контекст до 1 млн токенов. Открытые веса под лицензией Apache 2.0. Для дообучения использовали ответы китайских моделей: GLM от Zhipu и Qwen от Alibaba. Обучать хорошие небольшие модели может кто угодно. 😋

Harvard бесплатно выложил один из лучших курсов по системам для ИИ, которые я видел. CS249r идёт далеко за пределы архитектуры моделей. Здесь разбирается именно инженерная часть, от которой зависит, можно ли модель нормально обучать и эффективно запускать: процессоры, иерархия памяти, передача данных, ускорители, распределённые вычисления, инференс, квантование, сервинг, надёжность и развёртывание. И это не просто учебник. Внутри есть два открытых тома по ML Systems, TinyTorch для сборки собственного ML-фреймворка с нуля, интерактивные лабораторные прямо в браузере, MLSys·im для экспериментов с узкими местами железа и инфраструктуры, StaffML для практики по системам и слайды лекций самого курса. В одном TinyTorch — 20 последовательных модулей. В лабораторных можно менять параметры системы и сразу смотреть, что становится узким местом, а не просто читать теорию. Я бы изучал это уже после того, как нормально разобрался с нейросетями и Transformers. Понимать, как работает attention, полезно. Но понимать, почему KV-кэш съедает память, когда инференс упирается в пропускную способность, почему batching меняет throughput и почему добавление GPU в какой-то момент перестаёт нормально масштабироваться — это уже совсем другой уровень. Всё здесь: mlsysbook.ai GitHub: https://github.com/harvard-edge/cs249r_book