Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение

⚠️ Уже завтра стартует курс AgentOps! Мы собрали на потоке сборную из мастеров IT-рынка. Практики из BigTech научат вас контролировать и отлаживать ИИ-агентов, чтобы они работали предсказуемо и не сливали бюджет на API. 🔥 Заберите 3 курса по цене 1:

● При покупке VIP-тарифа (осталось 4 места) нового потока «Разработка ИИ-агентов» получаете в подарок курс «AgentOps» + ещё один любой курс Академии (например, «Математика для разработки AI», чтобы глубже освоить направление). ● Три курса обойдутся вам всего в 134.000 ₽ вместо 263.000 ₽. ● Доступна удобная беспроцентная рассрочка, платеж можно разбить на несколько комфортных частей.

Хотите прокачать свое портфолио продакшн-кейсом, но пока сомневаетесь? Пройдите наш бесплатный демо-урок, чтобы протестировать формат перед покупкой. 👉 Забрать 3 курса по цене 1 и получить демо-урок

👀 TimeSformer: как трансформеры научились понимать видео ViT делит картинку на патчи и прогоняет через attention. Но что делать с видео? Добавить измерение времени — и всё ломается по вычислениям. TimeSformer (ICML 2021) отвечает на вопрос: можно ли построить сильную видеомодель на чистом attention, без 3D-свёрток? 🎬 Как видео превращается в токены Каждый кадр делится на патчи размером 16×16. При 8 кадрах и разрешении 224×224 получается: 196 патчей × 8 кадров + 1 class token = 1569 токенов Каждый патч получает два позиционных эмбеддинга — пространственный (где в кадре) и временной (какой кадр). 🧠 Пять вариантов attention Space-only — attention только внутри одного кадра. Дёшево, но не видит движение. Joint space-time — каждый патч смотрит на все патчи во всех кадрах. Максимально выразительно, но квадратичная сложность убивает на длинных видео. Divided space-time — главная идея TimeSformer. Два отдельных attention в каждом блоке: сначала временной (один патч через все кадры), потом пространственный (все патчи в одном кадре). Sparse local-global и Axial — промежуточные варианты, оба проигрывают divided в экспериментах. ⚡ Почему divided выигрывает Joint attention: N×F+1 сравнений на патч → при F=96 это 18 817 сравнений. Divided attention: N+F+2 сравнений → при F=96 это 294 сравнения. При этом точность выше: 78% на Kinetics-400 против 77.9% у joint. На Something-Something-V2 (где важна именно последовательность действий) разрыв ещё больше — 59.5% против 36.6% у space-only. 🔧 Ключевой трюк реализации

# x: [B, F, N, D]

# Temporal attention — последовательность это кадры
x_t = rearrange(x, "b f n d -> (b n) f d")
x_t = temporal_attention(x_t, x_t, x_t)
x = rearrange(x_t, "(b n) f d -> b f n d", n=N)

# Spatial attention — последовательность это патчи
x_s = rearrange(x, "b f n d -> (b f) n d")
x_s = spatial_attention(x_s, x_s, x_s)
x = rearrange(x_s, "(b f) n d -> b f n d", f=F)

Просто перекладываем тензор — и стандартный attention блок работает нужным образом. 🔗 Ссылка на пост 📍 Навигация: Вакансии • Задачи • Собесы Библиотека дата-сайентиста #буст

🥲 One-hot encoding: не всегда лучший выбор Первое что учат при работе с категориальными признаками — pd.get_dummies(). Но у one-hot encoding есть серьёзные ограничения о которых часто забывают. 🔴 Когда one-hot ломается Высокая кардинальность — признак «город» с 500 уникальными значениями даст 500 новых колонок. Sparse матрица, проклятие размерности, медленное обучение. Цикличные признаки — час дня: 23 и 0 это соседние значения, но one-hot считает их максимально далёкими. Новые категории в проде — если в тесте появилась категория которой не было в трейне, модель падает или молча ошибается. ✅ Что использовать вместо 🎯 Target encoding — заменяем категорию средним значением таргета. Компактно, мощно, но только внутри pipeline с cross-validation чтобы избежать утечки:

from category_encoders import TargetEncoder

enc = TargetEncoder()
X_train['city'] = enc.fit_transform(X_train['city'], y_train)

📊 Frequency encoding — заменяем категорию её частотой в данных. Просто, без утечки, хорошо работает с деревьями:

freq = df['city'].value_counts(normalize=True)
df['city_freq'] = df['city'].map(freq)

🌀 Cyclic encoding — для часа, дня недели, месяца. Синус и косинус сохраняют цикличность:

df['hour_sin'] = np.sin(2 * np.pi * df['hour'] / 24)
df['hour_cos'] = np.cos(2 * np.pi * df['hour'] / 24)

📋 Шпаргалка выбора - Мало уникальных значений (< 15) → one-hot - Есть порядок → ordinal encoding - Высокая кардинальность → target или frequency encoding - Временные признаки → cyclic encoding - XGBoost / LightGBM → нативная поддержка категорий, можно не кодировать вообще 📍 Навигация: Вакансии • Задачи • Собесы Библиотека дата-сайентиста #буст

🚀 Не уверены, стоит ли переходить на зрелую ИИ-инженерию? Начните с демо-урока! Вот-вот стартует наш курс AgentOps. Если вы сомневаетесь в формате, просто оставьте заявку и получите бесплатный демо-урок «AI-инструменты в разработке: как писать код быстрее с помощью ассистентов». Для тех, кто готов мощно прокачать портфолио, прямо сейчас действует предложение «3 любых курса по цене 1»:

— При покупке VIP-тарифа (осталось 4 места) нового потока «ИИ-агенты» вы получаете в подарок доступ к курсу «AgentOps» + ещё один любой курс Академии на выбор — В деньгах это два топовых курса по автоматизации и контролю ИИ всего за 134.000 ₽ вместо 263.000 ₽ 🔥 А за счет третьего курса (например, можно выбрать «Математику») вы соберете мощный стек и освоите целое востребованное направление. — Платеж можно разбить на несколько частей с помощью беспроцентной рассрочки.

👉 Получить демо-урок и зафиксировать спецпредложение 3 в 1

🆕 Polars 1.42: три полезных улучшения 1️⃣ Адаптивный контроллер параллелизма для облачного I/O При чтении Parquet и IPC файлов из S3, GCS, Azure теперь автоматически подбирается оптимальное количество параллельных запросов под текущую скорость соединения. На бенчмарке TPC-H SF=1000 на 64-ядерном инстансе — 2x ускорение в среднем и до 4x на I/O-bound запросах. Никаких изменений в API — scan_parquet и scan_ipc из облака получают это автоматически. 2️⃣ Устранение противоречивых фильтров Оптимизатор запросов теперь определяет когда фильтр не может вернуть ни одной строки — и вообще не выполняет запрос. Шесть категорий противоречий: — A AND NOT(A) — x > 5 AND x <= 5 — is_in([]) — пустое множество — a > 5 AND a < 3 — несовместимые диапазоны — два непересекающихся is_between — a == 5 AND a > 10 Полезно при программно генерируемых фильтрах где параметры могут дать low > high или взаимоисключающие условия. Никаких изменений в коде не нужно. 3️⃣ is_sorted() для DataFrame и Expr Series.is_sorted() давно есть, теперь добавили для DataFrame и выражений:

df.is_sorted("a")               # True/False
df.is_sorted("b", descending=True)

df.select(pl.col("a").is_sorted())  # внутри select/filter

Поддерживает descending и nulls_last. Пока помечено как unstable. 🔛 Релиз-блог 📍 Навигация: Вакансии • Задачи • Собесы Библиотека дата-сайентиста #буст

🎯 Нормализация vs Стандартизация: в чем разница При подготовке данных для машинного обучения (Feature Scaling) часто возникает дилемма: что выбрать — нормализацию или стандартизацию? Эта инфографика наглядно разбирает оба метода, их формулы и сценарии применения. 📍 Навигация: Вакансии • Задачи • Собесы Библиотека дата-сайентиста #буст

🎬 Где ломаются архитектуры ИИ-агентов и как этого избежать: запись урока от Proglib.Academy и cloud․ru Proglib.аcademy вместе с cloud․ru провели вебинар, где разобрали реальные боли проектирования автономных систем. Вы просили запись встречи — она уже в открытом доступе! Что внутри: — критерии выбора между одним агентом и мультиагентной системой; — разбор популярных архитектурных ошибок; — реальные ограничения современных ИИ-агентов; — практические рекомендации по проектированию агентных систем. 👉 Посмотреть запись можно тут: ● VK ● YouTube

✅ Gefen: замена AdamW которая экономит 6.5 ГБ памяти на каждый миллиард параметров Одна из главных проблем при обучении больших моделей — память под состояние оптимизатора. AdamW хранит два момента для каждого параметра, и это бьёт по VRAM сильнее чем сами веса. Gefen — drop-in замена AdamW с 8-кратным сокращением памяти оптимизатора. Та же точность, те же гиперпараметры, два изменённых строки в коде:

# было:
# optimizer = torch.optim.AdamW(model.parameters(), lr=1e-3)

# стало:
from gefen import Gefen
optimizer = Gefen(model.parameters(), lr=1e-3)

➡️ Gefen квантизирует состояния оптимизатора до 8 бит используя подход основанный на блочно-диагональном приближении матрицы Гессиана. Это не просто округление — точность квантизации подбирается так чтобы не ронять качество обучения. ➡️ Работает с PyTorch DDP, FSDP, DeepSpeed ZeRO. Интегрируется в Hugging Face Trainer через optimizer_cls_and_kwargs. Есть версия GefenMuon — Muon с 4-кратным сокращением памяти оптимизатора.

pip install gefen

🔗 Ссылка на Gefen 📍 Навигация: Вакансии • Задачи • Собесы Библиотека дата-сайентиста #буст

🤖 Запускаем новый курс: «Spec-Driven Development»! Всем надоело, что ИИ-агенты (Cursor, Claude) генерируют сотни строк хаотичного кода, который приходится переписывать. Дело не в нейросети, а в том, что вы заставляете её угадывать условия задачи. На курсе вы освоите методологию SDD (Spec-Driven Development) — управление ИИ через спецификации (спеки) и тесты вместо «вайб-кодинга». Как это работает? До генерации кода вы фиксируете в спеке контракты, инварианты и граничные случаи. Документ четко определяет ЧТО делать, сводя лотерею в PR к нулю. За 8 недель с экспертами из BigTech вы: 🔹 Встроите ИИ в личный или командный workflow. 🔹 Превратите генерацию кода в предсказуемый инженерный процесс. 🔹 Перестанете перепроверять за моделями каждую строчку. 📖 Полный разбор методологии с примерами и готовый промпт для генерации спеки — в нашей статье 👉 Освоить SDD и ускорить разработку

⚠️ Graph Neural Networks: с чего начать и куда идти дальше GNN применяются везде где данные имеют структуру графа: молекулы, социальные сети, рекомендательные системы, карты дорог, белковые взаимодействия. ➡️ Подборка полезных ресурсов по GNNs 📍 Навигация: Вакансии • Задачи • Собесы Библиотека дата-сайентиста #буст

👌 Урок из DynamoDB для работы с большими данными Задача кажется простой: держать отсортированный индекс по 10 000 записей в секунду. Но один лимит всё ломает — у одной партиции потолок пропускной способности. Математика проблемы:

500 байт/запись × 10 000 запросов/с × 100 записей/запрос
= 500 МБ/с

Лимит одной партиции = 24 МБ/с

Нужно минимум 21 партиция

Наивные решения и почему они не работают Случайный суффикс → нельзя искать по значению, не знаешь в какой партиции данные. Хэш от значения → данные распределены равномерно, но порядок потерян. Нельзя вернуть отсортированный результат. Первый символ → 5 400 уникальных символов в реальных данных (Unicode), часть символов всё равно не помещается в одну партицию. Правильное решение: границы по перцентилям Разбить отсортированные данные на N равных диапазонов и сохранить граничные значения:

import bisect, unicodedata

# Предварительно вычисленные границы из реальных данных
BOUNDARIES = ['', 'agartha', 'barstow', 'can you', ...]

def shard_id(title):
    normalized = unicodedata.normalize('NFKD', title.lower())
    return bisect.bisect(BOUNDARIES, normalized) - 1

Поиск границы — O(log n) через bisect, константа с предвычисленным списком. Урок для дата сайнтиста Это та же проблема что при партиционировании данных в pandas, Spark или Polars: если партиции неравномерные — одни воркеры простаивают, другие перегружены (data skew). Решение одинаковое: не делить по первому символу или хэшу, а вычислять границы по перцентилям реального распределения данных. В Spark это называется range partitioning, в pandas — pd.qcut. Данные всегда распределены неравномерно. Проектировать партиции нужно под реальное распределение, а не под удобство. 📍 Навигация: Вакансии • Задачи • Собесы Библиотека дата-сайентиста #буст

👀 Умеете строить предсказуемую архитектуру с ИИ? Станьте спикером Proglib academy Мы в Proglib.academy запускаем курс по Spec-Driven Development (SDD) — учим разработчиков управлять ИИ-агентами (Cursor, Copilot, Claude) через спецификации, контекст и тесты, чтобы не перепроверять за нейросетью каждую строку.

Для этого курса мы ищем классных спикеров-практиков.

➡️ Что требуется от вас? ● BigTech бэкграунд: опыт работы разработчиком, тимлидом или архитектором в крупных технологических компаниях. ● Опыт управляемой разработки с ИИ: вы на практике знаете, как встроить AI-инструменты в личный или командный workflow (от постановки задачи до ревью AI-кода). ● Системный подход: умение превращать хаотичную генерацию кода в предсказуемый инженерный процесс (работа с архитектурой, чек-листами, легаси и покрытием тестами). ➡️ Что мы предлагаем? ● Достойную оплату за подготовку материалов и проведение занятий. ● Мощное продвижение личного бренда через медиаресурсы Proglib (наша аудитория — 1 млн+ айтишников). ● Возможность публиковать свои экспертные материалы и статьи на наших площадках. ● Доступ к сильному и закрытому профессиональному сообществу. Также мы ищем консультанта программы. Если вы практикующий эксперт и готовы помочь нам отвалидировать программу курса, дать рекомендации по актуальности тем и финальным результатам обучения — мы вас очень ждем. ➡️ Как с нами связаться: Telegram: @alinaa_kh E-mail: alina@proglib.io

Библиотека дата-сайентиста #развлекалово

📕 Курс по Deep Learning 10 лекций, изначально записанных для клиницистов и медицинских физиков. Но не спешите закрывать вкладку. Курс занимает интересную нишу: глубже чем большинство «AI для медицины» программ, но доступнее стандартных ML-курсов. Начинается с векторов и линейной регрессии и доходит до современных тем: — self-attention и трансформеры — byte-pair encoding — RLHF — RAG — агенты Хорошо подходит чтобы освежить базу, найти новые способы объяснить концепции коллегам или просто посмотреть на знакомые темы под другим углом. 🔗 Бесплатно, открытый доступ. 📍 Навигация: Вакансии • Задачи • Собесы Библиотека дата-сайентиста #буст

⏰ Уже сегодня в 19:00 (МСК) стартует наш открытый урок! Знаем, летом хочется отложить учёбу на осень. Но пока остальные отдыхают 😅, мы предлагаем без лишней конкуренции прокачать свой workflow и начать закрывать тикеты в три раза быстрее. Тема:

«AI-инструменты в разработке: пишем код быстрее»

Мы покажем живой разбор реального проекта: как с помощью AI-ассистентов мгновенно разбираться в чужой кодовой базе, искать нужные участки и собирать Pull Request. Только рабочие промпты, которые сэкономят вам часы рутины. 🎙 Спикер — Ольга Лукьянова, руководитель команды в SourceCraft (18+ лет развивала инструменты в JetBrains и Huawei). 👉 Узнать, как ускорить разработку с AI

➡️ Marin: open-source фреймворк для обучения LLM Большинство фреймворков для обучения моделей сохраняют результат. Marin сохраняет весь процесс: каждый шаг от сырых данных до финальной модели, включая неудачные эксперименты. ✳️ Что умеет Полный пайплайн из одного фреймворка: — курирование и фильтрация данных — токенизация — обучение (Llama, DeepSeek, Qwen и аналоги) — оценка Эксперименты описываются как граф зависимостей — шаги выполняются в топологическом порядке, как Makefile:

tinystories_tokenized = default_tokenize(
    name="roneneldan/TinyStories",
    tokenizer=llama3_tokenizer,
)

model = default_train(
    name="marin-nano-tinystories",
    tokenized=tinystories_tokenized,  # зависимость явная
    model_config=llama_nano,
    train_config=nano_train_config,
)

С помощью Marin обучили первую open-source 8B модель которая превзошла Llama 3.1 8B. Скрипт обучения и ретроспектива опубликованы — можно воспроизвести самостоятельно. ➡️ Фреймворк 📍 Навигация: Вакансии • Задачи • Собесы Библиотека дата-сайентиста #буст

1.51 ТБ модель на ноутбуке — Unsloth сжал GLM-5.2 на 84% GLM-5.2 от Z.ai — 744 млрд параметров, MIT лицензия, контекстное окно 1M токенов (целые кодовые базы за один запрос). Проблема: весит 1.51 ТБ. Ни у кого столько нет. Unsloth решили это квантизацией: 2-битная версия занимает 238 ГБ и сохраняет ~82% точности. Критически важные слои остаются на высокой точности — качество не обваливается. Что нужно для запуска На одной машине: — Mac M3/M4 Ultra с 256 ГБ RAM С offloading: — 24 ГБ GPU + 256 ГБ RAM Инструменты: llama.cpp, LM Studio или Unsloth Studio. Зачем это важно Локальный coding agent с контекстом на весь репозиторий — без облака, без API-ключей, без лимитов, без отправки кода на чужие серверы. Для корпоративных задач с чувствительным кодом это меняет расклад. Год назад такое требовало серверного кластера. github.com/unslothai/unsloth #llm #localai #quantization #opensource