Data Portal | DS & ML
Відкрити в Telegram
Всё самое интересное из мира LLM, Data Science и машинного обучения adds: @devmangx Автор: @agonyhormone
Показати більше8 429
Підписники
-124 години
+67 днів
+1630 день
Архів дописів
Если хочешь развиваться в машинном обучении — решать реальные бизнес-задачи или уйти в исследования — в Центральном университете есть магистратура под оба сценария. И на нее можно получить грант до 75%. Места ограничены, дедлайн подачи заявок — 20 августа.
«Машинное обучение» — это направление с несколькими форматами и треками. В офлайн-формате (пары по вечерам и в выходные в центре Москвы) можно выбрать один из трех треков:
⚫️Индустриальный — сильная база в ML, современные инструменты, реальные задачи от партнеров
⚫️Научный (AIRI × ЦУ) — сложные модели, исследования, подготовка к аспирантуре и работе в передовых лабораториях
⚫️ML в электронной коммерции × Lamoda — работа с реальными данными Lamoda, применение ML для бизнес-задач и возможность попасть на стажировку в компанию
Для тех, кто хочет учиться из любой точки мира, есть онлайн-формат: основной трек и продвинутый — для специалистов с опытом в ML. Это полноценная альтернатива офлайну с теми же преподавателями и курсами.
Магистратура в Центральном университете — это 2 года обучения, которое можно совмещать с работой, и диплом государственного образца. Карьерная поддержка начинается еще во время учебы: консультации, тренировочные собеседования и помощь с трудоустройством. Студенты уже в процессе обучения выходят на новые позиции или повышаются в грейде в Яндексе, Авито, Т-Банке и других компаниях.
Поступление проходит через грантовый конкурс — это одновременно способ попасть на программу и возможность выиграть финансовую поддержку на все время обучения: грант покрывает до 75% стоимости.
В 2026 году доступно 550 грантов на все программы магистратуры. Подробнее о программах и условиях участия в конкурсе — по ссылкам
➡️Офлайн программа
➡️Онлайн программа
Инженер Google объяснил, как дообучить крошечную LLM прямо на телефоне и повысить её точность с 46% до 90% всего за 21 минуту
Схема такая:
1. Выбрать Gemma 270M.
2. Сгенерировать синтетические данные для своей задачи.
3. Дообучить модель с помощью LoRA.
4. Квантизировать её до int4.
5. Развернуть на Pixel и получить скорость до 2000 токенов в секунду.
Именно благодаря такому циклу модель на 270 млн параметров может превзойти модель на 70 млрд параметров в конкретной задаче — при этом полностью работать офлайн прямо у вас в кармане.
Gemma 270M + синтетические данные + LoRA + int4-квантизация + on-device runtime — вот весь стек.
Посмотрите, сохраните и попробуйте уже сегодня дообучить собственного компактного AI-агента.
вот статья
Ghost Downloader — третий по популярности репозиторий дня на GitHub, хотя большинство о нём даже не слышало.
Ускоренное с помощью ИИ разбиение на чанки, TLS-фингерпринты реального браузера и обход антибот-защиты Отдельные парсеры для YouTube, Bilibili, Hugging Face и релизов GitHub Полноценная Android-версия, расширение для браузера и RPC, совместимый с aria2174 тыс. загрузок. 5,8 тыс. звёзд. Версия 4.1.1. IDM конец. Репозиторий на GitHub: http://github.com/XiaoYouChR/Ghost-Downloader-3
Практическое руководство по созданию поддерживаемых систем машинного обучения, охватывающее всё — от зависимостей в данных до инструментов MLOps.
Книга Чип Хуен посвящена ключевым архитектурным решениям, необходимым для разработки готовых к промышленной эксплуатации ML-систем, способных работать и масштабироваться под реальной нагрузкой.
Примеры и руководства по работе с Gemini API: https://github.com/google-gemini/cookbook
В проекте собраны пошаговые руководства, готовые примеры и ноутбуки с прямыми ссылками на Google Colab. Они помогают пройти путь от первого API-запроса и настройки аутентификации до более сложных сценариев с мультимодальным вводом, grounding, выполнением кода и Live API.
Cookbook также содержит примеры работы с изображениями, видео и аудио, браузерными инструментами, анимированными историями и пространственными задачами. Разработчики могут использовать REST API или официальные SDK для Python, Go, Node.js, Java и C#.
Создание reasoning-модели и без того достаточно сложная задача — даже без необходимости восстанавливать пайплайн данных, обучения и оценки по разрозненным заметкам.
SkyThought — это open-source-набор инструментов и коллекция рецептов для разработчиков, которые обучают и оценивают reasoning-модели.
Он помогает воспроизводить и адаптировать workflow Sky-T1 с помощью задокументированных этапов подготовки данных, кода для обучения и Python-пакета для оценки.
Ключевые возможности:
• Рецепты моделей — стратегии подготовки данных и обучения для моделей Sky-T1 Preview, Flash и 7B.
• CLI для оценки — оценка моделей, генерация ответов и скоринг сохранённых генераций из командной строки.
• Набор бенчмарков — готовые конфигурации для оценки по математике, естественным наукам и программированию, включая AIME, GPQA Diamond, APPS и LiveCodeBench.
• Гибкие бэкенды — локальный vLLM, Ray с vLLM или endpoint, совместимый с OpenAI API.
• Ресурсы для RL — код reinforcement learning и примеры обучения, использованные для Sky-T1-7B и Sky-T1-mini.
https://github.com/NovaSky-AI/SkyThought
«How to Scale Your LLM Model» — техническая книга об основах и системах, лежащих в основе больших языковых моделей.
В ней рассматриваются вычислительные ресурсы, память, параллелизм, шардинг, обучение, инференс, KV-кеш, задержка, пропускная способность, JAX, XLA и ключевые концепции, необходимые для понимания и оптимизации производительности моделей.
https://jax-ml.github.io/scaling-book/
Локальный запуск 1-битной LLM не должен требовать полной пересборки inference-стека с нуля.
bitnet.cpp — это фреймворк для инференса, предназначенный для инженеров, которые хотят локально запускать 1,58-битные LLM.
Он помогает подготовить и запустить поддерживаемые модели, объединяя в одной кодовой базе конвертацию в GGUF, квантизацию, оптимизированные ядра и инференс через командную строку. В результате вы получаете единый задокументированный путь от чекпоинта модели до локальной генерации и измерения производительности на конкретном оборудовании.
Ключевые возможности:
• Инференс на CPU — оптимизированные ядра I2_S для x86-64 и ARM.
• Поддержка GPU — кастомные CUDA-ядра W2A8 для BitNet-b1.58-2B-4T.
• Работа с моделями — загрузка поддерживаемых чекпоинтов из Hugging Face и их конвертация в GGUF.
• Готовый CLI — управление промптом, количеством потоков, размером контекста, температурой и режимом чата.
• Инструменты для бенчмаркинга — измерение скорости обработки промпта и генерации токенов с помощью встроенных скриптов.
https://github.com/microsoft/BitNet
Локальный запуск 1-битной LLM не должен требовать полной пересборки inference-стека с нуля.
bitnet.cpp — это фреймворк для инференса, предназначенный для инженеров, которые хотят локально запускать 1,58-битные LLM.
Он помогает подготовить и запустить поддерживаемые модели, объединяя в одной кодовой базе конвертацию в GGUF, квантизацию, оптимизированные ядра и инференс через командную строку. В результате вы получаете единый задокументированный путь от чекпоинта модели до локальной генерации и измерения производительности на конкретном оборудовании.
Ключевые возможности:
• Инференс на CPU — оптимизированные ядра I2_S для x86-64 и ARM.
• Поддержка GPU — кастомные CUDA-ядра W2A8 для BitNet-b1.58-2B-4T.
• Работа с моделями — загрузка поддерживаемых чекпоинтов из Hugging Face и их конвертация в GGUF.
• Готовый CLI — управление промптом, количеством потоков, размером контекста, температурой и режимом чата.
• Инструменты для бенчмаркинга — измерение скорости обработки промпта и генерации токенов с помощью встроенных скриптов.
https://github.com/microsoft/BitNet
⚡️💬 Оригинальный Claude API от $0.40 за 1M токенов
Без VPN, дорогих подписок и подмены модели под капотом.
ClaudeHub — для тех, кто использует ИИ в коде, учёбе, работе, ботах и своих проектах.
выбираете Claude — получаете Claude
Платите только за фактическое использование токенов и быстро начинаете через Telegram-бота.
Подходит для Cursor, Claude Code, Cline, Roo, Continue и любых проектов через API.
🆓 Первые 100 пользователей получают 50₽ на баланс по промокоду: FIRST100
✨ Быстрый старт: @claudehub_bot
🔗 Регистрация: app.claudehub.fun/register
💬 Поддержка: t.me/claudehub_support
Вышла NVIDIA DeepStream 9.1 с 13 агентными скиллами для создания пайплайнов видеоаналитики.
Вместо того чтобы вручную собирать пайплайн компьютерного зрения с нуля, достаточно описать нужный результат обычным естественным языком. Эти навыки можно использовать вместе с Claude Code или Codex, чтобы упростить настройку окружения, конфигурацию и запуск.
Среди новых скиллов — Multi-View 3D Tracking (MV3DT) для отслеживания объектов по данным с нескольких камер и AutoMagicCalib для автоматической калибровки сети камер.
В этом релизе также появилась поддержка NVIDIA JetPack 7.2 для edge-развёртывания на Jetson Orin и Thor. Всё опубликовано в открытом исходном коде на GitHub — подробнее здесь: https://nvda.ws/4vxQ6Yk
NVIDIA открыла исходный код ARDY — новой ИИ-модели для интерактивной генерации движений людей в реальном времени.
Вы просто описываете, что должен делать персонаж, и он это делает. Прямо во время движения. Можно изменить текстовую команду на ходу, указать новую точку маршрута или добавить ключевые кадры и система мгновенно перестроит движение. Без предварительного просчёта и ожидания.
И на этот раз NVIDIA выпустила всё сразу:
- исходный код;
- веса модели;
- рабочее демо.
Система полностью готова к локальному запуску. При этом модели достаточно 20–24 ГБ VRAM.
Особенно интересно, что эта технология создавалась не только для анимации - в её основе лежат те же исследования, которые NVIDIA использует в разработке человекоподобных роботов.
Напоминание: для веб-поиска, который используют AI-агенты, не обязательно нужен платный API-ключ.
Есть CLI-инструмент для самостоятельного хостинга и MCP-навык для AI-агентов, построенный на базе SearxNG.
Он даёт локальным агентам доступ к поиску в интернете, отправляя запросы через собственный экземпляр SearxNG и возвращая результаты в удобном виде для OpenClaw, Claude Code, Antigravity и т.п.
В основе инструмента лежит SearxNG — метапоисковая система с самостоятельным хостингом, которая агрегирует результаты из Google, Bing, DuckDuckGo, Brave и более чем 70 других источников. Основной способ работы через терминал: достаточно выполнить команду
ask-search "запрос", при необходимости указав количество результатов, категорию новостей, языковые фильтры, вывод только URL-адресов или результатов в формате JSON.
Берём на вооружение 🚬NVIDIA выпустила новый фреймворк для RL.
Весь сетап помещается в один Python-файл:
- пишете класс с функцией
step()
- возвращаете из неё reward
- всё остальное фреймворк берёт на себя — вплоть до обучения MoE-моделей класса 1T параметров
В типичном RL-фреймворке логика environment и reward находится внутри кодовой базы тренера.
Чтобы добавить новую задачу, нужно писать код под конкретный фреймворк, регистрировать её и подключать соответствующую конфигурацию.
Reward обычно выдаёт отдельно обученная reward model, для которой нужны собственные GPU и отдельное размещение рядом с actor и critic.
Фреймворк Molt от NVIDIA убирает оба этих требования.
Каждый запуск принимает флаг agent_path, указывающий на один Python-модуль, при этом код тренера никогда не меняется.
Модуль предоставляет два способа подключить агента.
> Первый — класс Env, в котором вы реализуете функцию step(). Она получает output модели и возвращает reward, а всё остальное фреймворк делает сам: вызывает модель, выполняет токенизацию и запускает цикл ход за ходом, пока episode не завершится.
> Второй — класс ChatAgent для агентов, у которых уже есть собственный loop. Здесь цикл вы пишете самостоятельно, вызывая модель через стандартный клиент OpenAI или Anthropic. Фреймворк при этом поднимает локальный сервер, поэтому запросы идут в его vLLM-движки, а не во внешний API.
В обоих случаях тренер получает одно и то же: trajectory из токенов и reward в конце.
Этот reward может формироваться через:
- проверку точного совпадения строк
- выполнение кода в изолированном subprocess
- вызов LLM-as-a-judge
Таким образом, не нужно отдельно обучать и размещать reward model, а код environment не хранится внутри самого фреймворка.
Под капотом Molt запускает одного обучаемого actor — плюс опциональный critic для PPO — на FSDP2, использует vLLM-движки для rollout и очереди Ray для обмена между компонентами.
Благодаря этому генерация, обучение и синхронизация весов выполняются с перекрытием, а не строго последовательно.
Для масштабирования достаточно изменить несколько флагов в той же команде.
Фреймворк также самостоятельно распределяет модель по GPU, поэтому один и тот же скрипт, который обучает модель на 8B параметров на одной ноде, может обучать на кластере MoE-модели масштаба DeepSeek-V3 — достаточно увеличить значения флагов параллелизма.
Репозиторий:
https://github.com/NVIDIA-NeMo/labs-molt
Поскольку фреймворк новый, я пока продолжаю с ним экспериментировать и скоро поделюсь своими выводами.
Для тех, кто хочет глубже разобраться в том, как ведущие AI-лаборатории создают RL-агентов в 2026 году, я написал подробную статью.
В ней рассматривается эволюция от RLHF к GRPO с верифицируемыми reward, а также использование LLM-as-a-judge в качестве reward-функции.
Этот подход позволяет применять RL-обучение к агентным задачам, результат которых нельзя однозначно верифицировать, без необходимости писать собственные reward-функции.А что, если бы можно было прочитать целую папку CSV-файлов одной строкой кода?
Работа с несколькими CSV-файлами часто требует дополнительного кода, чтобы загрузить, объединить и обработать каждый файл.
DuckDB упрощает эту задачу: он позволяет напрямую выполнять SQL-запросы к нескольким CSV-файлам с использованием шаблонов имён, чтобы анализировать их одним эффективным запросом.
Статья о DuckDB для дата-сайентистов: https://bit.ly/4uCVvO2
Машинное обучение для промышленной эксплуатации: https://github.com/EthicalML/awesome-production-machine-learning
Этот репозиторий содержит тщательно подобранную коллекцию отличных библиотек с открытым исходным кодом, которые помогут развёртывать, отслеживать, версионировать, масштабировать и обеспечивать безопасность систем машинного обучения в промышленной эксплуатации.
Новый сервис, для конверта документов в Markdown: https://docs.context.dev/api-reference/utility/parse
Достаточно сделать один API-запрос: отправить содержимое файла и получить на выходе Markdown с сохранённой структурой, ссылками и порядком текста.
Сервис поддерживает PDF, Word, Excel, PowerPoint, HTML, CSV, изображения, исходный код и многие другие форматы. Если документ представляет собой скан или фотографию, встроенный OCR автоматически распознает текст.
Локальный ИИ ещё никогда не был таким простым
> Установите ODS.
> Он автоматически определит характеристики вашего компьютера.
> Скачает модель, которая лучше всего подходит для вашего оборудования.
> Затем запустит локальный ИИ и Open WebUI.
С ODS вы можете:
> Добавить голосовое управление, ИИ-агентов (например, Hermes), рабочие процессы (workflows), RAG, поиск, генерацию изображений и многое другое.
> Управлять всей экосистемой через единую панель управления.
Теперь ваш ПК, Mac или компьютер с Linux становится приватным ИИ-сервером.
Не нужен облачный сервис и подписка. Ваши запросы и данные остаются на вашем устройстве, если только вы сами не решите иначе.
Этот GitHub-репозиторий — настоящая находка для тех, кто хочет не просто пользоваться ИИ и машинным обучением, а действительно глубоко их понять.
Maths, CS & AI Compendium — Бесплатный сборник.
В течение нескольких лет Генри вёл подробные конспекты, в которых объяснял математику, информатику и искусственный интеллект через интуицию, без лишней воды.
Его друзья использовали эти материалы для подготовки к собеседованиям в DeepMind, OpenAI и NVIDIA — и все успешно получили работу.
Теперь эти конспекты стали общедоступными.
В сборнике 20 глав, охватывающих путь от векторов до самых современных методов искусственного интеллекта.
Материал построен на интуитивном понимании, сопровождается примерами из реальной практики и избегает поверхностных объяснений.
плюс: В репозиторий входит MCP-сервер, благодаря которому Claude Code, Cursor, VS Code и другие совместимые инструменты могут использовать этот сборник как интерактивную базу знаний.
