متاح الآن! بحث تيليغرام 2025 — أهم رؤى العام 
Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
الذهاب إلى القناة على Telegram
Все самое полезное для дата сайентиста в одном канале. Курс по Ai-агентам: https://clc.to/9L0Tqg По рекламе: @proglib_adv Для обратной связи: @proglibrary_feeedback_bot РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9
إظهار المزيد📈 نظرة تحليلية على قناة تيليجرام Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
تُعد قناة Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение (@dsproglib) في القطاع اللغوي الروسية لاعباً نشطاً. يضم المجتمع حالياً 18 500 مشتركاً، محتلاً المرتبة 7 254 في فئة التكنولوجيات والتطبيقات والمرتبة 36 554 في منطقة روسيا.
📊 مؤشرات الجمهور والحراك
منذ تأسيسه في невідомо، حقق المشروع نمواً سريعاً وجمع 18 500 مشتركاً.
بحسب آخر البيانات بتاريخ 10 يونيو, 2026، تحافظ القناة على نشاط مستقر. خلال آخر 30 يوماً تغيّر عدد الأعضاء بمقدار -21، وفي آخر 24 ساعة بمقدار 3، مع بقاء الوصول العام مرتفعاً.
- حالة التحقق: غير موثّقة
- معدل التفاعل (ER): يبلغ متوسط تفاعل الجمهور 6.73%. وخلال أول 24 ساعة من النشر يحصد المحتوى عادةً 4.52% من ردود الفعل نسبةً إلى إجمالي المشتركين.
- وصول المنشورات: يحصل كل منشور على متوسط 1 246 مشاهدة. وخلال اليوم الأول يجمع عادةً 837 مشاهدة.
- التفاعلات والاستجابة: يتفاعل الجمهور بانتظام؛ متوسط التفاعلات لكل منشور يبلغ 5.
- الاهتمامات الموضوعية: يركز المحتوى على مواضيع رئيسية مثل сайентиста, llm, буст, навигация, openai.
📝 الوصف وسياسة المحتوى
يصف المؤلف القناة بأنها مساحة للتعبير عن الآراء الذاتية:
“Все самое полезное для дата сайентиста в одном канале.
Курс по Ai-агентам: https://clc.to/9L0Tqg
По рекламе: @proglib_adv
Для обратной связи: @proglibrary_feeedback_bot
РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9”
بفضل وتيرة التحديث المرتفعة (أحدث البيانات بتاريخ 11 يونيو, 2026) تحافظ القناة على حداثتها ومستوى وصول مرتفع. وتُظهر التحليلات تفاعلاً نشطاً من الجمهور، ما يجعلها نقطة تأثير مهمة ضمن فئة التكنولوجيات والتطبيقات.
18 500
المشتركون
+324 ساعات
-97 أيام
-2130 أيام
جاري تحميل البيانات...
القنوات المماثلة
سحابة العلامات
الإشارات الواردة والصادرة
---
---
---
---
---
---
جذب المشتركين
يونيو '26
يونيو '26
+35
في 0 قنوات
مايو '26
+142
في 1 قنوات
Get PRO
أبريل '26
+106
في 0 قنوات
Get PRO
مارس '26
+329
في 4 قنوات
Get PRO
فبراير '26
+154
في 5 قنوات
Get PRO
يناير '26
+212
في 4 قنوات
Get PRO
ديسمبر '25
+211
في 3 قنوات
Get PRO
نوفمبر '25
+101
في 1 قنوات
Get PRO
أكتوبر '25
+148
في 5 قنوات
Get PRO
سبتمبر '25
+105
في 2 قنوات
Get PRO
أغسطس '25
+103
في 4 قنوات
Get PRO
يوليو '25
+171
في 2 قنوات
Get PRO
يونيو '25
+185
في 42 قنوات
Get PRO
مايو '25
+319
في 6 قنوات
Get PRO
أبريل '25
+206
في 18 قنوات
Get PRO
مارس '25
+247
في 53 قنوات
Get PRO
فبراير '25
+236
في 36 قنوات
Get PRO
يناير '25
+180
في 41 قنوات
Get PRO
ديسمبر '24
+212
في 42 قنوات
Get PRO
نوفمبر '24
+217
في 52 قنوات
Get PRO
أكتوبر '24
+224
في 43 قنوات
Get PRO
سبتمبر '24
+249
في 38 قنوات
Get PRO
أغسطس '24
+269
في 37 قنوات
Get PRO
يوليو '24
+197
في 37 قنوات
Get PRO
يونيو '24
+257
في 31 قنوات
Get PRO
مايو '24
+429
في 38 قنوات
Get PRO
أبريل '24
+339
في 38 قنوات
Get PRO
مارس '24
+437
في 32 قنوات
Get PRO
فبراير '24
+426
في 32 قنوات
Get PRO
يناير '24
+473
في 28 قنوات
Get PRO
ديسمبر '23
+604
في 34 قنوات
Get PRO
نوفمبر '23
+289
في 13 قنوات
Get PRO
أكتوبر '23
+462
في 22 قنوات
Get PRO
سبتمبر '23
+631
في 0 قنوات
Get PRO
أغسطس '23
+488
في 0 قنوات
Get PRO
يوليو '23
+420
في 0 قنوات
Get PRO
يونيو '23
+329
في 0 قنوات
Get PRO
مايو '23
+433
في 0 قنوات
Get PRO
أبريل '23
+224
في 0 قنوات
Get PRO
مارس '23
+712
في 0 قنوات
Get PRO
فبراير '23
+249
في 0 قنوات
Get PRO
يناير '23
+260
في 0 قنوات
Get PRO
ديسمبر '22
+292
في 0 قنوات
Get PRO
نوفمبر '22
+407
في 0 قنوات
Get PRO
أكتوبر '22
+172
في 0 قنوات
Get PRO
سبتمبر '22
+209
في 0 قنوات
Get PRO
أغسطس '22
+287
في 0 قنوات
Get PRO
يوليو '22
+352
في 0 قنوات
Get PRO
يونيو '22
+407
في 0 قنوات
Get PRO
مايو '22
+166
في 0 قنوات
Get PRO
أبريل '22
+215
في 0 قنوات
Get PRO
مارس '22
+225
في 0 قنوات
Get PRO
فبراير '22
+129
في 0 قنوات
Get PRO
يناير '22
+250
في 0 قنوات
Get PRO
ديسمبر '21
+203
في 0 قنوات
Get PRO
نوفمبر '21
+253
في 0 قنوات
Get PRO
أكتوبر '21
+237
في 0 قنوات
Get PRO
سبتمبر '21
+208
في 0 قنوات
Get PRO
أغسطس '21
+297
في 0 قنوات
Get PRO
يوليو '21
+312
في 0 قنوات
Get PRO
يونيو '21
+288
في 0 قنوات
Get PRO
مايو '21
+446
في 0 قنوات
Get PRO
أبريل '21
+446
في 0 قنوات
Get PRO
مارس '21
+429
في 0 قنوات
Get PRO
فبراير '21
+396
في 0 قنوات
Get PRO
يناير '21
+351
في 0 قنوات
Get PRO
ديسمبر '20
+12 450
في 0 قنوات
| التاريخ | نمو المشتركين | الإشارات | القنوات | |
| 11 يونيو | +3 | |||
| 10 يونيو | +6 | |||
| 09 يونيو | +4 | |||
| 08 يونيو | +6 | |||
| 07 يونيو | +1 | |||
| 06 يونيو | +3 | |||
| 05 يونيو | 0 | |||
| 04 يونيو | +8 | |||
| 03 يونيو | +2 | |||
| 02 يونيو | +2 | |||
| 01 يونيو | 0 |
منشورات القناة
CVPR 2026: 16 000 заявок, 4 090 принято. Вот 5, которые стоит прочитать первыми
Если вы работаете с VLM или мультимодальными пайплайнами — это ваш список на длинные выходные.
1. SAM 3D — лучшая работа конференции
«Сегментируй что угодно» теперь в 3D из одного 2D изображения, за один проход. Год назад это назвали бы исследовательским демо.
2. Back to Basics — Tianhong Li & Kaiming He
Когда Каiming He публикует «Назад к основам» — читаешь сразу. Оба предыдущих раза он переписывал то, что область считала устоявшимся.
3. TIPSv2 — vision-language pretraining с улучшенным patch-text alignment
Поиск на уровне патчей — это следующее поколение image RAG. Здесь оно живёт.
4. INSID3 — сегментация по примерам без обучения, на DINOv3
Никакого файн-тюнинга, никаких меток, oral на CVPR. Training-free подход — тренд, которому поле долго сопротивлялось.
5. A Frame is Worth One Token — дельта-токены для генеративного моделирования мира
Токенная эффективность которая изменила LLM-инференс теперь добралась до видео.
📍 Навигация: Вакансии • Задачи • Собесы
Библиотека дата-сайентиста
#буст
| 2 | PyTorch custom operations: когда стандартных слоёв не хватает
Иногда нужна операция, которой нет в PyTorch из коробки. Можно написать её на Python, но если нужна скорость — пишут на C++ и CUDA. Разбираем как это устроено.
Два способа расширить PyTorch
1. Custom function — stateless операция
Реализуется на C++/CUDA, регистрируется через TORCH_LIBRARY_IMPL. PyTorch сам выбирает CPU или CUDA реализацию в зависимости от устройства тензора:
# После загрузки .so файла
result = torch.ops.my_ops.identity_conv_op(tensor)
2. Custom class — операция с состоянием
Если нужно хранить параметры (веса, конфиг) — используют torch::CustomClassHolder. Класс регистрируется и становится доступен из Python:
conv = torch.classes.my_ops.IdentityConvClass(channels=3)
output = conv.forward(input_tensor)
Главная сложность — torch.export
Когда модель компилируется для продакшена через torch.export, трассировщик работает с «фейковыми» тензорами — он не запускает реальный C++ код. Поэтому нужно зарегистрировать абстрактную Python-версию каждой операции:
@torch.library.register_fake("my_ops::identity_conv_op")
def _fake(x: torch.Tensor) -> torch.Tensor:
return torch.empty_like(x) # только форма и тип, без вычислений
Что в итоге
Скомпилированная модель (.pt2 файл) запускается и из Python, и из чистого C++ без зависимости от libpython — удобно для деплоя в продакшен без Python окружения.
Схема работы:
C++/CUDA код → .so библиотека → регистрация в PyTorch
↓
torch.export → AOTInductor → model.pt2
↓
Python inference или C++ inference (dlopen)
Полный пример с Identity Convolution
📍 Навигация: Вакансии • Задачи • Собесы
Библиотека дата-сайентиста
#буст | 666 |
| 3 | ✳️Шпаргалка: рабочая станция для AI/ML в 2026
Больше не нужен огромный бюджет на облако. Консьюмерское железо и open-source модели изменили правила. Но покупать нужно стратегически.
🖥 Железо: смотрите на VRAM, не на CPU
GPU (RTX 5090):
— лучший выбор для дообучения тяжёлых моделей
— CUDA незаменима для full fine-tuning
— дорого, шумно, энергозатратно
NPU + unified memory (Apple M5 Max, Intel Panther Lake):
— 64–128 ГБ RAM → большая часть уходит под VRAM
— 70B+ моделей локально без облака
— тихо, эффективно, достаточно для большинства DS-задач
Правило: для инференса и экспериментов — unified memory. Для обучения с нуля — GPU.
📦 Локальные модели: уходите от API-зависимости
Лучшие модели для локального запуска в 2026:
— DeepSeek V4 — сильный reasoning, хорош для кода
— Qwen3-Coder — отличный выбор для задач с данными
— Llama 3.3 — универсальный вариант
Запуск через Ollama:
ollama run qwen3-coder
ollama run deepseek-v4
Квантизация — ключевое понятие:
Q8 — максимальное качество, нужно много VRAM
Q4 — баланс качества и размера (рекомендуется)
Q3 — минимум VRAM, качество падает заметно
🔍 Как выбрать модель для задачи
— Анализ данных, код → Qwen3-Coder, DeepSeek V4
— Длинный контекст, документы → Gemini 3.1 Pro
— Сложные агентные задачи → Claude Opus 4.7
— Быстрый инференс локально → Llama 3.3 Q4
Ориентир для сравнения моделей на реальных задачах с кодом — SWE-bench.
⚙️ Минимальный стек для старта
Ollama — локальный запуск моделей
LM Studio — GUI для экспериментов
LangChain — оркестрация агентов
ChromaDB — локальная векторная БД для RAG
💡 Правило выбора
— Чувствительные данные → только локально
— Разовые тяжёлые задачи → API
— Повторяющиеся задачи → локально, окупается быстро
📍 Навигация: Вакансии • Задачи • Собесы
Библиотека дата-сайентиста
#буст | 789 |
| 4 |  🌳 SuperTree — интерактивная визуализация деревьев решений прямо в Jupyter Notebook
Если вы работаете с деревьями решений и ансамблями, то наверняка сталкивались с тем, что стандартные визуализации быстро становятся неудобными для анализа.
SuperTree решает эту проблему, добавляя полноценную интерактивность:
✅ Масштабирование и навигация по дереву
✅ Сворачивание и разворачивание узлов
✅ Отслеживание пути конкретного объекта через дерево
✅ Работа прямо в Jupyter Notebook, JupyterLab и Google Colab
Установка:
pip install supertree
Пример использования:
from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import load_iris
from supertree import SuperTree
iris = load_iris()
model = DecisionTreeClassifier(max_depth=3)
model.fit(iris.data, iris.target)
super_tree = SuperTree(
model,
iris.data,
iris.target,
iris.feature_names,
iris.target_names
)
super_tree.show_tree()
📍 Навигация: Вакансии • Задачи • Собесы
Библиотека дата-сайентиста
#буст | 993 |
| 5 |  🧠 Google представила Memory-Cached RNN — возможного конкурента Transformers
Последние 7 лет практически все крупные языковые модели — ChatGPT, Claude, Gemini, Llama — строились на архитектуре Transformer. Несмотря на впечатляющие результаты, у неё есть фундаментальная проблема: вычислительная сложность внимания растёт квадратично относительно длины контекста.
До появления Transformers основой многих нейросетей были RNN (Recurrent Neural Networks). Они обрабатывают последовательности намного эффективнее, но страдают от другой проблемы — ограниченной памяти. При работе с длинными текстами модель постепенно «забывает» информацию из начала последовательности.
Исследователи Google предложили новый подход в работе «Memory Caching: RNNs with Growing Memory».
💡 Ключевая идея — добавить RNN механизм кэширования промежуточных состояний.
Вместо фиксированной памяти модель сохраняет важные «снимки» своего внутреннего состояния по мере чтения текста. По мере роста последовательности память также может расширяться.
Что это даёт:
• память растёт вместе с длиной контекста;
• вычислительная стоимость остаётся значительно ниже, чем у Transformer;
• улучшается работа с длинными документами и задачами на запоминание;
• достигается качество, близкое к Transformer, без квадратичного роста вычислений.
🚀 Если результаты подтвердятся на больших языковых моделях промышленного масштаба, в ближайшие годы мы можем увидеть новый класс архитектур, где память растёт динамически, а вычисления остаются линейными по длине последовательности.
📍 Навигация: Вакансии • Задачи • Собесы
Библиотека дата-сайентиста
#буст | 1 000 |
| 6 |  Библиотека дата-сайентиста
#развлекалово | 1 069 |
| 7 |  🖼️ Как работает сжатие изображений: взгляд Data Scientist
Для дата-сайентиста изображение — это не картинка, а матрица чисел.
Сжатие же изображений позволяет уменьшить объём данных, сохранив максимум полезной информации.
Классный гид для быстрого понимания темы
📍 Навигация: Вакансии • Задачи • Собесы
Библиотека дата-сайентиста
#буст | 1 111 |
| 8 | 🔥 Инженерная методичка по ИИ от Романа Барлоса (Team Lead в Yandex Cloud)
Продолжаем делиться экспертизой команды курса «Разработка ИИ-агентов».
Роман собрал мастхев-инструменты и ключевые работы для тех, кто хочет выйти за рамки вайбкодинга.
🛠️ Полезные инструменты:
• Understand Anything — граф знаний по коду и зависимостям.
• DeepTutor — open-source платформа для персонализированного обучения.
• Superpowers — набор практик для системной разработки с ИИ.
• Awesome Agent Skills — коллекция навыков для ИИ-агентов.
📚 Ключевые работы по LLM:
• Attention Is All You Need (2017) — архитектура Transformer.
• GPT-1 (2018) — начало эпохи GPT.
• GPT-2 (2019) — решение новых задач без дообучения.
• GPT-3 (2020) — обучение на примерах из запроса.
• InstructGPT (2022) — RLHF и современные чат-боты.
На курсе Роман выступает консультантом программы: помогает формировать содержание уроков с опорой на актуальные инженерные практики».
Занять свое место на потоке:
👉 Курс «Разработка ИИ-агентов» | 1 143 |
| 9 |  🤖 Материалы: Awesome Self-Evolving Agents
Подборка материалов про самоэволюционирующих AI-агентов и их развитие в последние годы.
Проект систематизирует исследования в области agentic AI и разбивает их на понятную структуру эволюции методов
📍 Навигация: Вакансии • Задачи • Собесы
📍 Как внедрять AI-логику в бэкенд и сохранять стабильность сервиса
#буст | 1 159 |
| 10 |  +3🖼️ Как CNN «видят» изображения
Сверточные нейронные сети (CNN) лежат в основе множества задач компьютерного зрения — от классификации изображений до детекции объектов и сегментации.
📍 Навигация: Вакансии • Задачи • Собесы
Библиотека дата-сайентиста
#буст | 1 227 |
| 11 | 📘 Это классика: Dive into Deep Learning
Один из самых популярных open-source учебников по deep learning — «Dive into Deep Learning» от Aston Zhang, Zachary C. Lipton, Mu Li и Alexander J. Smola.
Это не просто теория, а практико-ориентированное пособие, которое объясняет ключевые идеи машинного обучения и нейросетей через код и интуицию.
📍 Навигация: Вакансии • Задачи • Собесы
Библиотека дата-сайентиста
#буст | 1 235 |
| 12 | 😎 Знакомьтесь с экспертом Proglib.academy: Senior Software Engineer и Team Lead в Yandex Cloud Роман Барлос
Роман — консультант нашего курса «Разработка ИИ-агентов». Он работает на стыке cloud-native архитектуры и AI, активно внедряя современные ИИ-подходы в реальные процессы разработки.
За что его ценит IT-комьюнити?
🟣 Team Lead и AI-евангелист в команде UX Yandex Cloud
14-лет в разработке. Занимается AI-адопшеном в команде Yandex Cloud, проводит мастер-классы и продвигает лучшие практики для повышения эффективности разработчиков.
🟣 Техлид Sourcecraft Code Assistant
С сильным практическим бэкграундом принимал участие как технический лид в создании мощного AI-расширения для VS Code.
🟣 Создатель полезного Open Source
Разрабатывает утилиты, которые позволяют быстро начать эксперименты с инференсом и агентами в локальном окружении: например, набор скриптов vllm-setup для быстрого запуска окружения и mini-proxy — минималистичный прокси для OpenAI API провайдеров.
🟣 Автор интерактивных ML-визуализаций
Объясняет сложные концепции наглядно. Создал серию залипательных обучающих материалов, где можно вживую пощупать работу сетей Хопфилда, машин Больцмана и VC-размерности.
Роман регулярно делится инженерными наработками, инсайтами и экспертизой в своем авторском Telegram-канале
На курсе Роман выступает консультантом программы: он помогает формировать содержание уроков с опорой на актуальные инженерные практики и жесткие требования индустрии.
Узнать больше о программе и разработке автономных систем:
👉 Курс «Разработка ИИ-агентов»
Так, продолжаем знакомить вас с командой?
👍 — Да, ждем новых лиц
🔥 — Жду полезные материалы от Романа | 1 178 |
| 13 |  Новый open-source проект для тех, кто исследует современные механизмы внимания в трансформерах.
attnhut — это коллекция реализаций различных Attention-механизмов в PyTorch, собранных в одном месте.
Вместо того чтобы искать код по десяткам репозиториев, можно быстро изучить и протестировать популярные подходы через единый интерфейс.
Что уже доступно:
✅ Standard Multi-Head Attention (Transformer)
✅ Multi-Query Attention (MQA)
✅ Grouped Query Attention (GQA)
✅ Multi-Head Latent Attention (MLA) из DeepSeek
✅ Differential Attention
✅ Delta Attention
✅ DeepSeek Sparse Attention
✅ MiniMax Sparse Attention
✅ BigBird
✅ Slot Attention
✅ Compressed Sparse Attention (DeepSeek V4)
✅ Heavily Compressed Attention
Особенность проекта — максимально простой API:
from attnhut import GroupedQueryAttention
attn = GroupedQueryAttention(
dim=512,
num_heads=8,
num_kv_heads=2
)
y = attn(x)
📍 Навигация: Вакансии • Задачи • Собесы
Библиотека дата-сайентиста
#буст | 1 264 |
| 14 |  🚀 MLOps на минималках: разворачиваем production-стек прямо на ноутбуке
На инфографике выше представлен подробный пайплайн настройки локальной среды для работы с ML-моделями.
📍 Навигация: Вакансии • Задачи • Собесы
Библиотека дата-сайентиста
#буст | 1 307 |
| 15 |  ✔️ Визуальные объяснения по deep learning
Идея простая — закреплять знания через активное воспроизведение, а не просто чтение. Это работает: когда объясняешь тему сам себе, пробелы сразу становятся видны.
Проект рассчитан на абсолютных новичков — людям с опытом может показаться базовым. Это работа в процессе, новые темы будут добавляться по мере изучения.
🔗 Сайт: https://clc.to/dOkFVQ
📍 Навигация: Вакансии • Задачи • Собесы
Библиотека дата-сайентиста
#буст | 1 354 |
| 16 |  Wall Attention — новый механизм внимания который умеет забывать
Стандартный attention обрабатывает все токены одинаково — каждый запрос смотрит на весь контекст с одинаковым «весом памяти». Исследователи решили это исправить.
Wall Attention добавляет обучаемый decay в QK скалярное произведение — каждый канал учится забывать с разной скоростью. Если упростить: модель сама решает какая информация из прошлого важна для каждого типа признаков.
Технически это выглядит так:
# Стандартный attention
score(i, j) = sum_n(q[i,n] * k[j,n])
# Wall Attention — добавляем decay между позициями
score(i, j) = sum_n(q[i,n] * k[j,n] * decay(i,j,n))
Поддерживает GQA, sliding window, varlen packing, BF16/FP32. При g=0 получаем обычный softmax attention — полная обратная совместимость.
Пока исследовательский инструмент, но направление интересное — особенно для задач с длинным контекстом:
pip install -e .
📍 Навигация: Вакансии • Задачи • Собесы
Библиотека дата-сайентиста
#буст | 1 310 |
| 17 | Лень как двигатель промпт-инжиниринга
Рассказываю, как нейронка может составить инструкцию за тебя, всё на реальном кейсе с поиском лидов.
➖ Задача: найти зацепки в тоннах отчетов
Я работаю над поисковиком, который переваривает гигабайты годовых отчетов компаний. Клиенту нужно не просто «найти компанию», а выудить конкретные «крючки» для продаж. Нужно лезть в глубину, понимать боли бизнеса и искать точки соприкосновения.
➖ Метод: «План для ассистента»
Вместо того чтобы самому расписывать, на что обращать внимание при анализе, я прошу ChatGPT составить план исследования.
Help me build a research blueprint for scouting potential clients for [COMPANY_NAME]. Below is our business profile for context: [INSERT_DESCRIPTION].
The goal is to provide a "discovery checklist" for investigating a specific lead company online. I need a list of sharp questions and data points that will help me understand if they are a fit.
Please focus the checklist on:
Identifying recent "trigger events" (pivots, new product launches, or leadership changes).
Pinpointing current operational friction or visible bottlenecks.
Finding JTBD-style insights (what specific "job" is this company currently trying to solve?).
The final output should be a structured list of investigation points for a research agent to follow during their deep-dive.
Самое забавное, что «ассистентом», который пойдет работать по этой инструкции, будет тот же самый ChatGPT. Итог: нейронка сама пишет себе ТЗ, сама его выполняет, а ты просто забираешь качественный результат.
Проблема в том, что люди часто пытаются быть микроменеджерами для ИИ, когда пора переходить на уровень постановки стратегии.
Если хочешь перестать просто «переписываться с ботом» и научиться создавать автономные системы, которые реально работают в проде, заглядывай на курс по AgentOps
Доверяете нейронке писать инструкции для самой себя?
❤️ - да, она лучше знает свои возможности
🔥 - нет, предпочитаю контролировать каждый символ в промпте
🔹 Курс разработка AI-агентов
🔹 Получить консультацию менеджера
🔹 Сайт Академии 🔹 Сайт Proglib
🏃♀️ Азбука айтишника
#магиякода | 1 196 |
| 18 | 🔥 SQL Шпаргалка для Data Analytics
Независимо от того, работаете ли вы с PostgreSQL, MySQL, SQL Server или BigQuery, большинство запросов строятся вокруг одних и тех же конструкций.
Сохраняйте шпаргалку, чтобы не искать синтаксис в документации каждый раз.
📍 Навигация: Вакансии • Задачи • Собесы
Библиотека дата-сайентиста
#буст | 1 312 |
| 19 | 🔎 Профилирование в PyTorch: как находить узкие места через `torch.profiler`
Если PyTorch-код работает медленно, угадывать причину почти всегда бесполезно. Гораздо эффективнее — смотреть профилировщик.
Ниже — практический чеклист, который помогает быстро читать torch.profiler и понимать, где именно теряется производительность.
1️⃣ Сначала проверьте соотношение CPU и GPU времени
Откройте prof.key_averages().table():
CPU ≫ GPU (ms vs µs) → overhead-bound
- причина: Python-оверhead, dispatch, мелкие операции
- решение: увеличить batch, размер матриц, фьюзинг операций
CPU ≈ GPU (оба в ms) → compute-bound
- это нормальный режим, дальше оптимизация идёт на уровне GPU
2️⃣ Если GPU простаивает — ищите пустые зоны в трейсе
В trace (Perfetto / Chrome):
- задержки между CPU и GPU
- паузы перед cudaLaunchKernel
- разрывы между record_function и aten::*
Чаще всего это связано с:
- lazy инициализацией cuBLAS
- аллокациями памяти
- слишком мелкими kernel’ами
- Python overhead
3️⃣ Обращайте внимание на cudaOccupancyMaxActiveBlocksPerMultiprocessor
Если он присутствует перед kernel’ом:
- это тяжелый kernel (GEMM, conv)
- есть runtime-выбор конфигурации
- cuBLAS подбирает стратегию исполнения
Если его нет — чаще всего это elementwise операция с фиксированной стоимостью запуска.
4️⃣ Warmup обязателен
Без warmup вы фактически измеряете:
- инициализацию CUDA
- загрузку cuBLAS
- первые аллокации
Минимальный вариант:
for _ in range(5):
step()
5️⃣ Маленькие матрицы почти всегда дают искажения
Например:
- 64×64 → GPU почти не загружен
- 4096×4096 → нормальный compute-bound режим
Если кажется, что GPU медленный, сначала увеличьте размер задачи.
6️⃣ Что важно в таблице профайлера
Обращайте внимание на:
- одна операция занимает 80–90% CUDA time → основной bottleneck
- большое число вызовов → кандидат на fusion
- CPU total ≫ self CPU → проблема внутри вложенных операций
📍 Навигация: Вакансии • Задачи • Собесы
Библиотека дата-сайентиста
#буст | 1 122 |
| 20 | ⚡️ Продолжаем знакомить вас с экспертами курса AgentOps!
— Сергей Нотевский расскажет, как выстроить FinOps для AI-продуктов: оптимизировать затраты на разработку и продакшен, внедрить model routing, semantic cache и систему алертов для контроля расходов
— Эмиль Сатаев разберет Context Engineering: управление контекстом, защиту от prompt injection, работу с длинными контекстами и построение безопасного пайплайна входа для AI-систем
— Михаил Бондаревский покажет, как подготовить инфраструктуру для AI-агентов: Docker, sandboxing, streaming, docker-compose и воспроизводимое окружение для разработки и продакшена
— Мурат Хажгериев расскажет про Enterprise Integrations & MCP: когда MCP действительно нужен, как подключать внешние сервисы и реализовывать интеграции с OAuth2 delegation
— Герман Сабиров разберет Governance & Compliance для AI-систем: data flow, audit logs, требования 152-ФЗ, локализацию данных и построение compliance-подхода на уровне архитектуры
Курс для backend-разработчиков, тимлидов и LLM инженеров о том, как внедрять AI-логику в бэкенд IT-продуктов и сохранять стабильность сервиса.
👉 Изучить обновленную программу AgentOps и занять место. | 1 162 |
