Data Portal | DS & ML

Единственный чит-лист по LLM, который вам когда-либо понадобится Охватывает основные концепции, архитектуры и практические применения. LLM Cheatsheet (Google Drive) Основы

Токены (токенизация, BPE) Эмбеддинги (косинусное сходство) Механизм внимания (формула Attention, Multi-Head Attention)

Архитектура Transformer и её разновидности

BERT (модели только с энкодером) GPT (модели только с декодером) T5 (модели с энкодером и декодером)

Большие языковые модели (LLM)

Промптинг (длина контекста, Chain-of-Thought) Дообучение (SFT, PEFT/LoRA) Настройка предпочтений (Reward Model, Reinforcement Learning) Оптимизации (Mixture of Experts, Distillation, Quantization)

Применение

LLM-as-a-Judge (LaaJ) RAG (Retrieval-Augmented Generation) Агенты (ReAct) Рассуждающие модели (Scaling)

👉 @DataSciencegx

«Algebra 2» — ещё один полностью бесплатный учебник, охватывающий значительную часть алгебры как на довузовском, так и на начальном университетском уровне. Объёмом более 1100 страниц и с большим количеством разобранных примеров, практических задач и упражнений, он охватывает линейные уравнения, квадратные уравнения, полиномиальные уравнения, рациональные уравнения, иррациональные уравнения, показательные и логарифмические уравнения, системы уравнений, неравенства и многие фундаментальные концепции, лежащие в основе алгебры. На мой взгляд, это один из самых полных бесплатных ресурсов для изучения теории уравнений и алгебраических методов, с которыми обычно сталкиваются в первые годы обучения в университете. Источник: https://openstax.org/details/books/algebra-and-trigonometry-2e 👉 @DataSciencegx

БЕСПЛАТНЫЕ книги MIT по AI и Machine Learning: 1. Foundations of Machine Learning cs.nyu.edu/~mohri/mlbook/ 2. Understanding Deep Learning udlbook.github.io/udlbook/ 3. Introduction to Machine Learning Systems ❯ Vol 1: mlsysbook.ai/vol1/assets/do ❯ Vol 2: mlsysbook.ai/vol2/assets/do 4. Algorithms for ML algorithmsbook.com 5. Deep Learning deeplearningbook.org 6. Reinforcement Learning andrew.cmu.edu/course/10-703/ 7. Distributional Reinforcement Learning direct.mit.edu/books/oa-monog 8. Multi Agent Reinforcement Learning marl-book.com 9. Agents in the Long Game of AI direct.mit.edu/books/oa-monog 10. Fairness and Machine Learning fairmlbook.org 11. Probabilistic Machine Learning ❯ Part 1 : probml.github.io/pml-book/book1 ❯ Part 2 : probml.github.io/pml-book/book2 👉 @DataSciencegx

Обучение LLM с миллиардами параметров с нуля на одной видеокарте. Большинство считает, что для обучения LLM нужны дата-центр и миллионы долларов. Этот репозиторий показывает, что это не всегда так. В нём подробно разобран процесс создания и обучения GPT-подобных моделей с нуля, включая техники, которые делают обучение крупных моделей возможным даже на потребительском железе. От токенизации до приёмов распределённого обучения — всё открыто и доступно в исходном коде. → Создание GPT-подобных моделей с нуля → Практики эффективного обучения на ограниченных ресурсах → Токенизация, архитектура модели и пайплайн обучения → Методы масштабирования и оптимизации обучения → Полностью open-source GitHub: https://github.com/FareedKhan-dev/train-llm-from-scratch 👉 @DataSciencegx

На Stepik вышла программа «Фундамент DevOps» Это комплексная программа из 4 практических курсов по ключевым технологиям современного DevOps: Linux, Git, Docker и Kubernetes. Вы последовательно пройдёте путь от работы в Linux и Git до контейнеризации приложений и управления ими в Kubernetes. Что вы изучите:

• уверенную работу в Linux и терминале • Git и контроль версий в реальных проектах • Docker и контейнеризацию приложений • Kubernetes и оркестрацию контейнеров • основы сетей, безопасности и хранения данных • автоматизацию задач и диагностику инфраструктуры ... и многому другому

Все знания закрепляются на практике с помощью заданий с автопроверкой. Материал подаётся понятным языком, шаг за шагом, с большим количеством примеров, схем и демонстраций. После прохождения вы получите сертификат, который можно добавить в резюме. Отдельно курсы стоят 16 600 ₽, но в составе программы доступны всего за 7 990 ₽: открыть на Stepik

Утечка данных — одна из главных причин, почему ML-демо выглядят впечатляюще... а затем разваливаются в продакшене. Модель не стала умнее. Она просто случайно увидела правильные ответы заранее. За 4 минуты вы поймёте, где скрываются утечки данных. Давайте разберёмся 1. Утечка данных (Data Leakage) Утечка данных возникает, когда в процессе обучения модели используется информация, которая не будет доступна в момент реального предсказания. Из-за этого метрики на этапе валидации могут выглядеть значительно лучше, чем фактическое качество модели на новых, ранее не встречавшихся данных. 2. Цель оценки модели (Evaluation) Тестовая выборка — это не просто «дополнительные данные». Это симуляция будущего. Обучайте модель только на той информации, которая была бы вам известна на момент предсказания. Оценивайте её на примерах, на которые модель никак не могла повлиять в процессе обучения. 3. Прямая утечка данных (Direct Leakage) Это самый очевидный вид утечки. Примеры: - поле с информацией из будущего; - идентификатор (ID), в котором закодирована целевая переменная; - переменная, появляющаяся только после наступления события; - дубликаты записей одновременно в обучающей и тестовой выборках. Если признак не существует в момент инференса (предсказания), то, скорее всего, он является источником утечки данных. 4. Косвенная утечка данных (Indirect Leakage) Именно этот тип утечки чаще всего становится ловушкой для команд. Вы выполняете нормализацию, заполнение пропусков, отбор признаков, удаление выбросов или снижение размерности до разделения данных на обучающую и тестовую выборки. Модель напрямую не видела данные из тестовой выборки. Но их уже увидел ваш пайплайн предобработки. 5. Разделение на обучающую и тестовую выборки (Train/Test Split): Неправильно: обучить (fit) скейлер на всех данных → разделить данные → провести оценку Правильно: разделить данные → обучить (fit) скейлер только на обучающей выборке → применить (transform) к обучающей и тестовой выборкам Та же идея относится к импьютерам, энкодерам, отбору признаков, PCA и любому этапу предобработки, который обучается на данных. 6. Кросс-валидация (Cross-Validation): Каждый фолд — это мини-эксперимент с обучающей и тестовой выборками. Поэтому предобработка должна выполняться внутри каждого фолда. Если вы один раз подготовили весь датасет, а затем запустили кросс-валидацию, то каждый фолд уже получил доступ к своим отложенным данным. 7. Пайплайны (Pipelines): Пайплайн — это не просто способ сделать код чище. Это ещё и защита от утечки данных. Объедините предобработку, отбор признаков и модель в один пайплайн, а затем передайте этот пайплайн в кросс-валидацию или поиск гиперпараметров (grid search). 8. Версия для AI Engineering: Утечки данных встречаются и в RAG-системах, и при оценке LLM. Утечка возникает, когда вы настраиваете чанки, промпты, реранкеры, пороговые значения или примеры на том же наборе данных для оценки, который позже представляете как «отложенный» (held-out). В результате ваш бенчмарк превращается в обучающие данные. 9. Чек-лист по поиску утечек данных (Leakage Checklist): Прежде чем доверять полученной метрике, задайте себе вопросы: Мог бы этот признак существовать в момент предсказания? Не был ли какой-либо этап преобразования (transform) обучен (fit) на тестовых данных? Включала ли кросс-валидация весь пайплайн целиком? Не подбирали ли мы параметры на финальном наборе данных для оценки? Если ответ «да», то метрика, скорее всего, не отражает реального качества модели. 👉 @DataSciencegx

«Calculus: Early Transcendentals» — отличный бесплатный учебник для формирования прочной базы по математическому анализу. Книга написана понятным и доступным языком, при этом сохраняет необходимую математическую строгость. Она содержит большое количество примеров и задач, поэтому подходит как для самостоятельного изучения, так и для использования в учебном процессе. В учебнике рассматривается широкий круг тем, включая: • пределы; • производные; • интегралы; • последовательности и ряды; • дифференциальные уравнения; • многомерный анализ. Считаю эту книгу ещё одним ценным инструментом в арсенале любого, кто изучает математику. Если вы студент и хотите освоить или повторить ключевые темы математического анализа либо преподаватель, ищущий новые идеи и альтернативные объяснения, этот учебник определённо заслуживает внимания. https://open.umn.edu/opentextbooks/textbooks/415 https://github.com/antoniolupetti/algebrica 👉 @DataSciencegx

Запусти собственную AI-компанию с командой AI-агентов Alook — это open-source платформа для совместной работы AI coding-агентов. Self-hosted и local-first. Как устроено: Ты задаёшь структуру организации. Назначаешь каждому агенту роль — разработка, DevOps, ресерч и всё, что нужно. Настраиваешь иерархию и линии подчинения. Alook выдаёт каждому агенту собственный email-адрес. Как это работает: Ты назначаешь задачу нужному агенту — дальше он разбирается сам. Агенты координируются через email: передают результаты, задают вопросы, обновляют статусы. Ты видишь всё в своём inbox, но вручную ничего не маршрутизируешь. Работает как always-on daemon. Закрыл ноутбук — агенты продолжают работать. Вернулся — задачи уже выполнены. Общая память между всеми агентами. Каждый агент знает, над чем работали остальные. Не нужно заново объяснять контекст. После завершения каждой задачи Alook логирует удачные подходы и формирует SOP’ы. Со временем вся команда становится эффективнее. Поддерживает Claude Code, Codex и OpenCode. Можно комбинировать разные системы или запускать несколько агентов в одном runtime. Встроенные Kanban-доски для трекинга задач. Календарь для планирования. Email для всей коммуникации. Агенты сами подхватывают задачи, обновляют свои календари и закрывают issue после выполнения. С агентами можно общаться через чат или email, как с любым AI-инструментом. Runtime устанавливается один раз и дальше работает в фоне. После настройки терминал больше не нужен. Ключевые возможности: • Координация агентов через email с реальными inbox’ами • Структура организации с ролями и иерархией • Общая память и самообучающиеся SOP’ы • Always-on daemon для работы 24/7 • Поддержка Claude Code, Codex и OpenCode • Встроенные Kanban, календарь и email • Self-hosted и local-first Полностью open source. 👉 @DataSciencegx

Тихо, почти незаметно, AI-инфраструктуру захватывает новая инженерная дисциплина. И это не prompt engineering. И не выбор модели. Это harness engineering. Идея простая: практически любой сбой AI-агента — это проблема scaffolding-а. Плохой контекст. Плохие инструменты. Отсутствие памяти. Нет верификации. Этот репозиторий собирает всё необходимое для построения такого scaffolding’а — от статьи про ReAct до гайда Anthropic по context compaction и middleware-паттернов из LangGraph. Ресурсы от OpenAI, Anthropic, Google, Meta, Microsoft и многих других — в одном месте. https://github.com/ai-boost/awesome-harness-engineering 👉 @DataSciencegx

ИИ в аналитике — новый стандарт для бизнеса Сегодня компании, внедряющие ИИ в аналитику, получают решения и инсайты быстрее конкурентов. Те, кто остаётся на старых подходах, теряют скорость и преимущество. Аналитика с искусственным интеллектом становится новым стандартом рынка — и те, кто не объединит бизнес-аналитику и ИИ сейчас, рискуют остаться за бортом. 3 июня Visiology проведёт бесплатный онлайн-эфир о том, как ИИ ускоряет работу с данными, сокращает ручную отчётность и помогает получать ответы без долгой подготовки. Обсудим: — ИИ-помощников для аналитики и поиска закономерностей; — автоматизацию отчётности; — как быстрее находить ответы в данных; и многое другое. Эфир полезен аналитикам, ИТ-командам и руководителям. Мероприятие уже скоро — успейте зарегистрироваться.

NVIDIA выпустили: Verified Agent Skills 👊 Verified Skills дают прозрачность в том, что именно делает скилл, откуда он получен, какие риски несёт и был ли он модифицирован. Каждый verified skill содержит skill card и построен на открытой спецификации Agent Skills, чтобы стабильно работать в Claude Code, OpenAI Codex и Cursor. 👉 @DataSciencegx

Не совсем круто изучать system design для LLM по случайным диаграммам. genai-llm-ml-case-studies — это curated GitHub-коллекция с 500+ реальными case study по GenAI, LLM и ML system design от 130+ компаний. Она помогает разбирать, как команды проектируют, деплоят и оптимизируют AI-системы, группируя примеры по индустриям, use case’ам, компаниям и архитектурным паттернам. Ключевые особенности: • 500+ case study — production-oriented примеры для GenAI, LLM и ML-систем • Несколько способов навигации — просмотр по индустрии, use case’ам, компаниям или отдельным LLM-кейсам • LLM-ориентированные темы — разделы по RAG, search, evaluation, fine-tuning, оптимизации inference и multimodal-системам • Примеры от компаний — включая OpenAI, Anthropic, Microsoft, Google, Meta, Netflix, LinkedIn, GitHub, Spotify и другие • Архитектурные паттерны — в README показаны схемы direct LLM integration, RAG, multi-agent systems и human-in-the-loop workflow Проект open-source (лицензия MIT). 👉 @DataSciencegx

Хватит изучать математику для ML по случайным вкладкам в браузере. Mathematics for Machine Learning — это курируемая коллекция на GitHub, включающая книги, научные статьи, видеолекции и базовые материалы по математике для изучения и повторения математических основ машинного обучения. Она помогает выстроить более прочную базу знаний, объединяя проверенные ресурсы вокруг тем, с которыми инженеры машинного обучения сталкиваются постоянно: линейная алгебра, математический анализ, теория вероятностей, статистика, теория информации, матричное исчисление и математика глубокого обучения. Бесплатный публичный репозиторий на GitHub. 👉 @DataSciencegx

Почему KV-кэш — одна из главных причин высокой скорости работы LLM? KV-кэш связывает механизм внимания (attention) с этапом генерации в авторегрессионных моделях. Такие модели генерируют текст токен за токеном, но каждый новый токен всё равно должен учитывать все предыдущие токены. → Чтобы ускорить фазу декодирования (decode phase), модели сохраняют ранее вычисленные векторы Key и Value в KV-кэше. → Во время генерации вычисляются только новые состояния Q/K/V для последнего токена, после чего выполняется attention по уже закэшированным представлениям прошлых токенов. Без KV-кэша модели пришлось бы заново вычислять ключи и значения для всей последовательности на каждом шаге (например, при генерации 501-го токена пришлось бы снова пересчитывать токены с 1-го по 500-й), что крайне медленно. Однако у KV-кэша есть компромисс — потребление памяти. Его размер растёт вместе с длиной контекста, размером батча, количеством слоёв и числом голов внимания (attention heads). Поэтому сегодня значительная часть исследований сосредоточена на повышении эффективности KV-кэша и оптимизации использования памяти. Например: Улучшение механизма внимания, поскольку именно он определяет, как формируется KV-кэш. В зависимости от задачи можно использовать более продвинутые варианты attention, такие как CompactAttention, MHA, MLA и другие. Оптимизация управления памятью. Система должна определять, какие данные хранить долго, какие держать локально, когда выполнять суммаризацию контекста, а когда удалять часть данных. Подробнее о KV-кэше и механизме внимания можно прочитать здесь: https://turingpost.com/p/your-ultimate-guide-to-attention-mechanism-qkv-and-kv-cache А о том, как они вписываются в полный пайплайн инференса LLM — здесь: https://turingpost.com/p/llm-inference-from-tokens-to-answers 👉 @DataSciencegx

38 лет учёные-компьютерщики считали, что алгоритм Дейкстры оптимален для разреженных графов. Логика казалась железобетонной: - Дейкстра сортирует вершины по расстоянию - Сортировка имеет нижнюю границу O(n log n) - Значит, кратчайшие пути не могут быть найдены быстрее 5 исследователей доказали, что это предположение неверно. Хитрость => объединить priority queue из Дейкстры с динамическим программированием Беллмана–Форда. Разделяй и властвуй по множествам вершин. Сжимать фронтир. Результат: O(m log^(2/3) n) Первое улучшение для ориентированных графов со времён Fibonacci heap в 1987 году. Tsinghua. Stanford. Max Planck. 17 страниц. https://arxiv.org/pdf/2504.17033 👉 @DataSciencegx

Себастьян Рашка собрал огромный репозиторий, где шаг за шагам показывает, как собрать свой ChatGPT с нуля: https://github.com/rasbt/LLMs-from-scratch/tree/main/ch04/09_dsa 👉 @DataSciencegx

Эта математика лежит в основе каждой AI-модели, которую сейчас обучают. Градиент. Якобиан. Гессиан. Три слова, которые сначала выглядят пугающе. Но на самом деле это просто три способа измерять изменение. 𝟭. 𝗚𝗿𝗮𝗱𝗶𝗲𝗻𝘁 ∇f (градиент) Берёт скалярную функцию: f : ℝⁿ → ℝ Возвращает вектор первых частных производных. Он отвечает на вопрос: «В каком направлении функция f растёт быстрее всего?» Именно поэтому градиенты — основа оптимизации. Градиентный спуск идёт в противоположную сторону, потому что градиент указывает направление наибольшего роста. Backpropagation эффективно вычисляет градиенты во время обучения. 𝟮. 𝗝𝗮𝗰𝗼𝗯𝗶𝗮𝗻 J_F (якобиан) Берёт векторнозначную функцию: F : ℝⁿ → ℝᵐ Возвращает матрицу m × n первых частных производных. Он отвечает: «Как каждый выход зависит от каждого входа?» Якобиан — это локальное линейное отображение векторной функции. Он встречается в: → анализе чувствительности → замене переменных → автоматическом дифференцировании → forward-mode AD → reverse-mode AD / backpropagation В простых терминах: forward-mode AD использует произведения якобиан–вектор. reverse-mode AD использует произведения вектор–якобиан. 𝟯. 𝗛𝗲𝘀𝘀𝗶𝗮𝗻 H_f (гессиан) Берёт скалярную функцию: f : ℝⁿ → ℝ Возвращает матрицу n × n вторых частных производных. Он отвечает: «Как меняется сам градиент?» То есть гессиан измеряет кривизну. Когда вторые частные производные непрерывны, гессиан симметричен. В критической точке: → положительно определённый гессиан → строгий локальный минимум → отрицательно определённый гессиан → строгий локальный максимум → неопределённый гессиан → седловая точка Чистая ментальная модель Градиент = первые производные одного выхода → показывает направление Якобиан = первые производные многих выходов → показывает чувствительность Гессиан = вторые производные одного выхода → показывает кривизну И связь между ними проста: Гессиан — это якобиан градиента. Для скалярного выхода якобиан содержит те же частные производные, что и градиент, с точностью до соглашения о строках/столбцах. Одна и та же идея: измерение изменения. Разные объекты: направление, чувствительность, кривизна. Когда это становится понятным, оптимизация перестаёт выглядеть как набор формул. Она начинает выглядеть как карта задачи. 👉 @DataSciencegx

Перестань угадывать, какие модели поместятся в твою VRAM. llmfit — CLI-инструмент, который автоматически определяет твоё железо и ранжирует 206 моделей по тому, что реально запустится на системе. Ты скачиваешь 70B модель и надеешься, что она влезет. Или вручную прикидываешь требования по памяти для разных уровней квантизации — и всё равно получаешь модели, которые падают или работают слишком медленно. llmfit это меняет. Он определяет CPU, RAM, GPU и VRAM, затем оценивает каждую модель в своей базе под твоё железо. Вместо того чтобы предполагать один уровень квантизации, он подбирает максимальное качество, которое помещается. Начинает с Q8_0, затем понижает вплоть до Q2_K, если нужно. Если не помещается даже при полном контексте — пробует половину контекста. В итоге ты получаешь модель с максимально возможным качеством, которая реально работает. Каждая модель получает оценку по Quality, Speed, Context и Capability. Вес этих параметров меняется в зависимости от задачи: для чат-моделей важнее скорость, для reasoning — качество. Можно запускать как интерактивный TUI для просмотра моделей, через CLI для таблицы или получать JSON для скриптов. Есть REST API для кластерных планировщиков. Также можно использовать в обратную сторону: указать желаемую модель и целевую производительность — и инструмент скажет, какое железо нужно. Главная ценность: ты видишь отсортированные варианты до скачивания. Больше не нужно тратить десятки гигабайт на модели, которые не запустятся. Проект полностью open-source. 👉 @DataSciencegx

“Algorithms for Decision Making” — это бесплатная книга о математических основах искусственного интеллекта, автономных систем принятия решений и современного машинного обучения. Опубликована MIT Press, книга объединяет вероятности, оптимизацию, планирование, поиск, обучение с подкреплением, марковские процессы принятия решений (MDP), теорию полезности и последовательное принятие решений в строгой, но современной форме. В книге более 700 страниц, и она даёт очень широкий взгляд на то, как интеллектуальные системы рассуждают, оценивают неопределённость и принимают решения в условиях ограничений. Одна из самых интересных вещей в интернете — это огромное количество качественных бесплатных знаний. Сложные темы, которые раньше требовали доступа к дорогим университетам или специализированным библиотекам, сегодня доступны любому, кто готов учиться! Algorithms for Decision Making (PDF) 👉 @DataSciencegx