en
Feedback
Data Portal | DS & ML

Data Portal | DS & ML

Open in Telegram

Всё самое интересное из мира LLM, Data Science и машинного обучения adds: @devmangx Автор: @agonyhormone

Show more
8 429
Subscribers
-124 hours
+67 days
+1630 days
Posts Archive

Если хочешь развиваться в машинном обучении — решать реальные бизнес-задачи или уйти в исследования — в Центральном университ
Если хочешь развиваться в машинном обучении — решать реальные бизнес-задачи или уйти в исследования — в Центральном университете есть магистратура под оба сценария. И на нее можно получить грант до 75%. Места ограничены, дедлайн подачи заявок — 20 августа. «Машинное обучение» — это направление с несколькими форматами и треками. В офлайн-формате (пары по вечерам и в выходные в центре Москвы) можно выбрать один из трех треков: ⚫️Индустриальный — сильная база в ML, современные инструменты, реальные задачи от партнеров ⚫️Научный (AIRI × ЦУ) — сложные модели, исследования, подготовка к аспирантуре и работе в передовых лабораториях ⚫️ML в электронной коммерции × Lamoda — работа с реальными данными Lamoda, применение ML для бизнес-задач и возможность попасть на стажировку в компанию Для тех, кто хочет учиться из любой точки мира, есть онлайн-формат: основной трек и продвинутый — для специалистов с опытом в ML. Это полноценная альтернатива офлайну с теми же преподавателями и курсами. Магистратура в Центральном университете — это 2 года обучения, которое можно совмещать с работой, и диплом государственного образца. Карьерная поддержка начинается еще во время учебы: консультации, тренировочные собеседования и помощь с трудоустройством. Студенты уже в процессе обучения выходят на новые позиции или повышаются в грейде в Яндексе, Авито, Т-Банке и других компаниях. Поступление проходит через грантовый конкурс — это одновременно способ попасть на программу и возможность выиграть финансовую поддержку на все время обучения: грант покрывает до 75% стоимости. В 2026 году доступно 550 грантов на все программы магистратуры. Подробнее о программах и условиях участия в конкурсе — по ссылкам ➡️Офлайн программа ➡️Онлайн программа

Инженер Google объяснил, как дообучить крошечную LLM прямо на телефоне и повысить её точность с 46% до 90% всего за 21 минуту Схема такая: 1. Выбрать Gemma 270M. 2. Сгенерировать синтетические данные для своей задачи. 3. Дообучить модель с помощью LoRA. 4. Квантизировать её до int4. 5. Развернуть на Pixel и получить скорость до 2000 токенов в секунду. Именно благодаря такому циклу модель на 270 млн параметров может превзойти модель на 70 млрд параметров в конкретной задаче — при этом полностью работать офлайн прямо у вас в кармане. Gemma 270M + синтетические данные + LoRA + int4-квантизация + on-device runtime — вот весь стек. Посмотрите, сохраните и попробуйте уже сегодня дообучить собственного компактного AI-агента. вот статья

Ghost Downloader — третий по популярности репозиторий дня на GitHub, хотя большинство о нём даже не слышало. Ускоренное с пом
Ghost Downloader — третий по популярности репозиторий дня на GitHub, хотя большинство о нём даже не слышало.
Ускоренное с помощью ИИ разбиение на чанки, TLS-фингерпринты реального браузера и обход антибот-защиты Отдельные парсеры для YouTube, Bilibili, Hugging Face и релизов GitHub Полноценная Android-версия, расширение для браузера и RPC, совместимый с aria2
174 тыс. загрузок. 5,8 тыс. звёзд. Версия 4.1.1. IDM конец. Репозиторий на GitHub: http://github.com/XiaoYouChR/Ghost-Downloader-3

Практическое руководство по созданию поддерживаемых систем машинного обучения, охватывающее всё — от зависимостей в данных до инструментов MLOps. Книга Чип Хуен посвящена ключевым архитектурным решениям, необходимым для разработки готовых к промышленной эксплуатации ML-систем, способных работать и масштабироваться под реальной нагрузкой.

Примеры и руководства по работе с Gemini API: https://github.com/google-gemini/cookbook В проекте собраны пошаговые руководства, готовые примеры и ноутбуки с прямыми ссылками на Google Colab. Они помогают пройти путь от первого API-запроса и настройки аутентификации до более сложных сценариев с мультимодальным вводом, grounding, выполнением кода и Live API. Cookbook также содержит примеры работы с изображениями, видео и аудио, браузерными инструментами, анимированными историями и пространственными задачами. Разработчики могут использовать REST API или официальные SDK для Python, Go, Node.js, Java и C#.

Создание reasoning-модели и без того достаточно сложная задача — даже без необходимости восстанавливать пайплайн данных, обуч
Создание reasoning-модели и без того достаточно сложная задача — даже без необходимости восстанавливать пайплайн данных, обучения и оценки по разрозненным заметкам. SkyThought — это open-source-набор инструментов и коллекция рецептов для разработчиков, которые обучают и оценивают reasoning-модели. Он помогает воспроизводить и адаптировать workflow Sky-T1 с помощью задокументированных этапов подготовки данных, кода для обучения и Python-пакета для оценки. Ключевые возможности: • Рецепты моделей — стратегии подготовки данных и обучения для моделей Sky-T1 Preview, Flash и 7B. • CLI для оценки — оценка моделей, генерация ответов и скоринг сохранённых генераций из командной строки. • Набор бенчмарков — готовые конфигурации для оценки по математике, естественным наукам и программированию, включая AIME, GPQA Diamond, APPS и LiveCodeBench. • Гибкие бэкенды — локальный vLLM, Ray с vLLM или endpoint, совместимый с OpenAI API. • Ресурсы для RL — код reinforcement learning и примеры обучения, использованные для Sky-T1-7B и Sky-T1-mini. https://github.com/NovaSky-AI/SkyThought

«How to Scale Your LLM Model» — техническая книга об основах и системах, лежащих в основе больших языковых моделей. В ней рас
«How to Scale Your LLM Model» — техническая книга об основах и системах, лежащих в основе больших языковых моделей. В ней рассматриваются вычислительные ресурсы, память, параллелизм, шардинг, обучение, инференс, KV-кеш, задержка, пропускная способность, JAX, XLA и ключевые концепции, необходимые для понимания и оптимизации производительности моделей. https://jax-ml.github.io/scaling-book/

Локальный запуск 1-битной LLM не должен требовать полной пересборки inference-стека с нуля. bitnet.cpp — это фреймворк для инференса, предназначенный для инженеров, которые хотят локально запускать 1,58-битные LLM. Он помогает подготовить и запустить поддерживаемые модели, объединяя в одной кодовой базе конвертацию в GGUF, квантизацию, оптимизированные ядра и инференс через командную строку. В результате вы получаете единый задокументированный путь от чекпоинта модели до локальной генерации и измерения производительности на конкретном оборудовании. Ключевые возможности: • Инференс на CPU — оптимизированные ядра I2_S для x86-64 и ARM. • Поддержка GPU — кастомные CUDA-ядра W2A8 для BitNet-b1.58-2B-4T. • Работа с моделями — загрузка поддерживаемых чекпоинтов из Hugging Face и их конвертация в GGUF. • Готовый CLI — управление промптом, количеством потоков, размером контекста, температурой и режимом чата. • Инструменты для бенчмаркинга — измерение скорости обработки промпта и генерации токенов с помощью встроенных скриптов. https://github.com/microsoft/BitNet

Локальный запуск 1-битной LLM не должен требовать полной пересборки inference-стека с нуля. bitnet.cpp — это фреймворк для инференса, предназначенный для инженеров, которые хотят локально запускать 1,58-битные LLM. Он помогает подготовить и запустить поддерживаемые модели, объединяя в одной кодовой базе конвертацию в GGUF, квантизацию, оптимизированные ядра и инференс через командную строку. В результате вы получаете единый задокументированный путь от чекпоинта модели до локальной генерации и измерения производительности на конкретном оборудовании. Ключевые возможности: • Инференс на CPU — оптимизированные ядра I2_S для x86-64 и ARM. • Поддержка GPU — кастомные CUDA-ядра W2A8 для BitNet-b1.58-2B-4T. • Работа с моделями — загрузка поддерживаемых чекпоинтов из Hugging Face и их конвертация в GGUF. • Готовый CLI — управление промптом, количеством потоков, размером контекста, температурой и режимом чата. • Инструменты для бенчмаркинга — измерение скорости обработки промпта и генерации токенов с помощью встроенных скриптов. https://github.com/microsoft/BitNet

⚡️💬 Оригинальный Claude API от $0.40 за 1M токенов Без VPN, дорогих подписок и подмены модели под капотом. ClaudeHub — для т
⚡️💬 Оригинальный Claude API от $0.40 за 1M токенов Без VPN, дорогих подписок и подмены модели под капотом. ClaudeHub — для тех, кто использует ИИ в коде, учёбе, работе, ботах и своих проектах. выбираете Claude — получаете Claude Платите только за фактическое использование токенов и быстро начинаете через Telegram-бота. Подходит для Cursor, Claude Code, Cline, Roo, Continue и любых проектов через API. 🆓 Первые 100 пользователей получают 50₽ на баланс по промокоду: FIRST100 ✨ Быстрый старт: @claudehub_bot 🔗 Регистрация: app.claudehub.fun/register 💬 Поддержка: t.me/claudehub_support

Вышла NVIDIA DeepStream 9.1 с 13 агентными скиллами для создания пайплайнов видеоаналитики. Вместо того чтобы вручную собирать пайплайн компьютерного зрения с нуля, достаточно описать нужный результат обычным естественным языком. Эти навыки можно использовать вместе с Claude Code или Codex, чтобы упростить настройку окружения, конфигурацию и запуск. Среди новых скиллов — Multi-View 3D Tracking (MV3DT) для отслеживания объектов по данным с нескольких камер и AutoMagicCalib для автоматической калибровки сети камер. В этом релизе также появилась поддержка NVIDIA JetPack 7.2 для edge-развёртывания на Jetson Orin и Thor. Всё опубликовано в открытом исходном коде на GitHub — подробнее здесь: https://nvda.ws/4vxQ6Yk

NVIDIA открыла исходный код ARDY — новой ИИ-модели для интерактивной генерации движений людей в реальном времени. Вы просто описываете, что должен делать персонаж, и он это делает. Прямо во время движения. Можно изменить текстовую команду на ходу, указать новую точку маршрута или добавить ключевые кадры и система мгновенно перестроит движение. Без предварительного просчёта и ожидания. И на этот раз NVIDIA выпустила всё сразу: - исходный код; - веса модели; - рабочее демо. Система полностью готова к локальному запуску. При этом модели достаточно 20–24 ГБ VRAM. Особенно интересно, что эта технология создавалась не только для анимации - в её основе лежат те же исследования, которые NVIDIA использует в разработке человекоподобных роботов.

Напоминание: для веб-поиска, который используют AI-агенты, не обязательно нужен платный API-ключ. Есть CLI-инструмент для самостоятельного хостинга и MCP-навык для AI-агентов, построенный на базе SearxNG. Он даёт локальным агентам доступ к поиску в интернете, отправляя запросы через собственный экземпляр SearxNG и возвращая результаты в удобном виде для OpenClaw, Claude Code, Antigravity и т.п. В основе инструмента лежит SearxNG — метапоисковая система с самостоятельным хостингом, которая агрегирует результаты из Google, Bing, DuckDuckGo, Brave и более чем 70 других источников. Основной способ работы через терминал: достаточно выполнить команду ask-search "запрос", при необходимости указав количество результатов, категорию новостей, языковые фильтры, вывод только URL-адресов или результатов в формате JSON. Берём на вооружение 🚬

NVIDIA выпустила новый фреймворк для RL. Весь сетап помещается в один Python-файл: - пишете класс с функцией step() - возвращаете из неё reward - всё остальное фреймворк берёт на себя — вплоть до обучения MoE-моделей класса 1T параметров В типичном RL-фреймворке логика environment и reward находится внутри кодовой базы тренера. Чтобы добавить новую задачу, нужно писать код под конкретный фреймворк, регистрировать её и подключать соответствующую конфигурацию. Reward обычно выдаёт отдельно обученная reward model, для которой нужны собственные GPU и отдельное размещение рядом с actor и critic. Фреймворк Molt от NVIDIA убирает оба этих требования. Каждый запуск принимает флаг agent_path, указывающий на один Python-модуль, при этом код тренера никогда не меняется. Модуль предоставляет два способа подключить агента. > Первый — класс Env, в котором вы реализуете функцию step(). Она получает output модели и возвращает reward, а всё остальное фреймворк делает сам: вызывает модель, выполняет токенизацию и запускает цикл ход за ходом, пока episode не завершится. > Второй — класс ChatAgent для агентов, у которых уже есть собственный loop. Здесь цикл вы пишете самостоятельно, вызывая модель через стандартный клиент OpenAI или Anthropic. Фреймворк при этом поднимает локальный сервер, поэтому запросы идут в его vLLM-движки, а не во внешний API. В обоих случаях тренер получает одно и то же: trajectory из токенов и reward в конце. Этот reward может формироваться через: - проверку точного совпадения строк - выполнение кода в изолированном subprocess - вызов LLM-as-a-judge Таким образом, не нужно отдельно обучать и размещать reward model, а код environment не хранится внутри самого фреймворка. Под капотом Molt запускает одного обучаемого actor — плюс опциональный critic для PPO — на FSDP2, использует vLLM-движки для rollout и очереди Ray для обмена между компонентами. Благодаря этому генерация, обучение и синхронизация весов выполняются с перекрытием, а не строго последовательно. Для масштабирования достаточно изменить несколько флагов в той же команде. Фреймворк также самостоятельно распределяет модель по GPU, поэтому один и тот же скрипт, который обучает модель на 8B параметров на одной ноде, может обучать на кластере MoE-модели масштаба DeepSeek-V3 — достаточно увеличить значения флагов параллелизма. Репозиторий: https://github.com/NVIDIA-NeMo/labs-molt Поскольку фреймворк новый, я пока продолжаю с ним экспериментировать и скоро поделюсь своими выводами. Для тех, кто хочет глубже разобраться в том, как ведущие AI-лаборатории создают RL-агентов в 2026 году, я написал подробную статью. В ней рассматривается эволюция от RLHF к GRPO с верифицируемыми reward, а также использование LLM-as-a-judge в качестве reward-функции. Этот подход позволяет применять RL-обучение к агентным задачам, результат которых нельзя однозначно верифицировать, без необходимости писать собственные reward-функции.

А что, если бы можно было прочитать целую папку CSV-файлов одной строкой кода? Работа с несколькими CSV-файлами часто требует
А что, если бы можно было прочитать целую папку CSV-файлов одной строкой кода? Работа с несколькими CSV-файлами часто требует дополнительного кода, чтобы загрузить, объединить и обработать каждый файл. DuckDB упрощает эту задачу: он позволяет напрямую выполнять SQL-запросы к нескольким CSV-файлам с использованием шаблонов имён, чтобы анализировать их одним эффективным запросом. Статья о DuckDB для дата-сайентистов: https://bit.ly/4uCVvO2

Машинное обучение для промышленной эксплуатации: https://github.com/EthicalML/awesome-production-machine-learning Этот репозиторий содержит тщательно подобранную коллекцию отличных библиотек с открытым исходным кодом, которые помогут развёртывать, отслеживать, версионировать, масштабировать и обеспечивать безопасность систем машинного обучения в промышленной эксплуатации.

Новый сервис, для конверта документов в Markdown: https://docs.context.dev/api-reference/utility/parse Достаточно сделать оди
Новый сервис, для конверта документов в Markdown: https://docs.context.dev/api-reference/utility/parse Достаточно сделать один API-запрос: отправить содержимое файла и получить на выходе Markdown с сохранённой структурой, ссылками и порядком текста. Сервис поддерживает PDF, Word, Excel, PowerPoint, HTML, CSV, изображения, исходный код и многие другие форматы. Если документ представляет собой скан или фотографию, встроенный OCR автоматически распознает текст.

Локальный ИИ ещё никогда не был таким простым > Установите ODS. > Он автоматически определит характеристики вашего компьютера
Локальный ИИ ещё никогда не был таким простым > Установите ODS. > Он автоматически определит характеристики вашего компьютера. > Скачает модель, которая лучше всего подходит для вашего оборудования. > Затем запустит локальный ИИ и Open WebUI. С ODS вы можете: > Добавить голосовое управление, ИИ-агентов (например, Hermes), рабочие процессы (workflows), RAG, поиск, генерацию изображений и многое другое. > Управлять всей экосистемой через единую панель управления. Теперь ваш ПК, Mac или компьютер с Linux становится приватным ИИ-сервером. Не нужен облачный сервис и подписка. Ваши запросы и данные остаются на вашем устройстве, если только вы сами не решите иначе.

Этот GitHub-репозиторий — настоящая находка для тех, кто хочет не просто пользоваться ИИ и машинным обучением, а действительно глубоко их понять. Maths, CS & AI Compendium — Бесплатный сборник. В течение нескольких лет Генри вёл подробные конспекты, в которых объяснял математику, информатику и искусственный интеллект через интуицию, без лишней воды. Его друзья использовали эти материалы для подготовки к собеседованиям в DeepMind, OpenAI и NVIDIA — и все успешно получили работу. Теперь эти конспекты стали общедоступными. В сборнике 20 глав, охватывающих путь от векторов до самых современных методов искусственного интеллекта. Материал построен на интуитивном понимании, сопровождается примерами из реальной практики и избегает поверхностных объяснений. плюс: В репозиторий входит MCP-сервер, благодаря которому Claude Code, Cursor, VS Code и другие совместимые инструменты могут использовать этот сборник как интерактивную базу знаний.